Búsqueda de arquitectura neuronal profunda ligera con puntuación incorporada de proxy sin disparo
Autores: Nguyen, Thi-Trang; Han, Ji-Hyeong
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Búsqueda de arquitectura neuronal profunda ligera con puntuación incorporada de proxy sin disparo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Red neuronal
Búsqueda de arquitectura
Predictor de precisión
Proxy de cero disparos
Red neuronal profunda
NAS óptimo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
Diseñar una red neuronal de alto rendimiento es una tarea difícil. Los métodos de búsqueda de arquitectura neuronal (NAS) tienen como objetivo resolver este proceso. Sin embargo, la construcción de un predictor de precisión de alta calidad, que es un componente clave de NAS, generalmente requiere una computación significativa. Por lo tanto, los métodos de NAS basados en proxy de cero disparos han sido investigados activa y extensamente. En este trabajo, proponemos un nuevo proxy de cero disparos eficiente, Puntuación Incorporada, para clasificar arquitecturas de redes neuronales profundas en lugar de utilizar un predictor de precisión. El proxy de Puntuación Incorporada propuesto se genera incorporando la puntuación zen y la información de entropía de la red, y no necesita entrenar ninguna red. Luego presentamos un algoritmo NAS óptimo llamado NAS Incorporado que apunta a la maximización de la Puntuación Incorporada de la red neuronal dentro de los presupuestos de inferencia especificados. Los experimentos muestran que la red diseñada por NAS Incorporado con Puntuación Incorporada supera a la previamente propuesta Zen-NAS y logra una nueva precisión SOTA en los conjuntos de datos CIFAR-10, CIFAR-100 e ImageNet con una escala ligera.
Descripción
Diseñar una red neuronal de alto rendimiento es una tarea difícil. Los métodos de búsqueda de arquitectura neuronal (NAS) tienen como objetivo resolver este proceso. Sin embargo, la construcción de un predictor de precisión de alta calidad, que es un componente clave de NAS, generalmente requiere una computación significativa. Por lo tanto, los métodos de NAS basados en proxy de cero disparos han sido investigados activa y extensamente. En este trabajo, proponemos un nuevo proxy de cero disparos eficiente, Puntuación Incorporada, para clasificar arquitecturas de redes neuronales profundas en lugar de utilizar un predictor de precisión. El proxy de Puntuación Incorporada propuesto se genera incorporando la puntuación zen y la información de entropía de la red, y no necesita entrenar ninguna red. Luego presentamos un algoritmo NAS óptimo llamado NAS Incorporado que apunta a la maximización de la Puntuación Incorporada de la red neuronal dentro de los presupuestos de inferencia especificados. Los experimentos muestran que la red diseñada por NAS Incorporado con Puntuación Incorporada supera a la previamente propuesta Zen-NAS y logra una nueva precisión SOTA en los conjuntos de datos CIFAR-10, CIFAR-100 e ImageNet con una escala ligera.