NdarTS: un búsqueda de arquitectura diferenciable basada en la serie de Neumann
Autores: Han, Xiaoyu; Li, Chenyu; Wang, Zifan; Liu, Guohua
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
NdarTS: un búsqueda de arquitectura diferenciable basada en la serie de Neumann
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Búsqueda de arquitectura neuronal
NAS
Aprendizaje automático automático
DARTS
NDARTS
Hiper-gradiente
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 44
Citaciones: Sin citaciones
La arquitectura de búsqueda neural (NAS) ha demostrado un gran potencial en descubrir modelos de red poderosos y flexibles, convirtiéndose en una rama importante del aprendizaje automático automático (AutoML). Aunque los métodos de búsqueda basados en aprendizaje por refuerzo y algoritmos evolutivos pueden encontrar arquitecturas de alto rendimiento, estos métodos de búsqueda típicamente requieren cientos de días de GPU. A diferencia de la búsqueda en un espacio de búsqueda discreto basado en aprendizaje por refuerzo y algoritmos evolutivos, la búsqueda de arquitectura neural diferenciable (DARTS) relaja continuamente el espacio de búsqueda, permitiendo la optimización mediante métodos basados en gradientes. Basándonos en DARTS, proponemos NDARTS en este artículo. El nuevo algoritmo utiliza el Teorema de la Función Implícita y la serie de Neumann para aproximar el hipergradiente, lo cual obtiene mejores resultados que DARTS. En el experimento de simulación, se llevó a cabo un experimento de ablación para estudiar la influencia de los diferentes parámetros en el algoritmo NDARTS y determinar el peso óptimo, luego se buscó el mejor rendimiento del algoritmo NDARTS en el espacio de búsqueda de DARTS y en el espacio de búsqueda NAS-BENCH-201. En comparación con otros algoritmos NAS, los resultados mostraron que NDARTS logró excelentes resultados en los conjuntos de datos CIFAR-10, CIFAR-100 e ImageNet, y fue un algoritmo efectivo de búsqueda de arquitectura neural.
Descripción
La arquitectura de búsqueda neural (NAS) ha demostrado un gran potencial en descubrir modelos de red poderosos y flexibles, convirtiéndose en una rama importante del aprendizaje automático automático (AutoML). Aunque los métodos de búsqueda basados en aprendizaje por refuerzo y algoritmos evolutivos pueden encontrar arquitecturas de alto rendimiento, estos métodos de búsqueda típicamente requieren cientos de días de GPU. A diferencia de la búsqueda en un espacio de búsqueda discreto basado en aprendizaje por refuerzo y algoritmos evolutivos, la búsqueda de arquitectura neural diferenciable (DARTS) relaja continuamente el espacio de búsqueda, permitiendo la optimización mediante métodos basados en gradientes. Basándonos en DARTS, proponemos NDARTS en este artículo. El nuevo algoritmo utiliza el Teorema de la Función Implícita y la serie de Neumann para aproximar el hipergradiente, lo cual obtiene mejores resultados que DARTS. En el experimento de simulación, se llevó a cabo un experimento de ablación para estudiar la influencia de los diferentes parámetros en el algoritmo NDARTS y determinar el peso óptimo, luego se buscó el mejor rendimiento del algoritmo NDARTS en el espacio de búsqueda de DARTS y en el espacio de búsqueda NAS-BENCH-201. En comparación con otros algoritmos NAS, los resultados mostraron que NDARTS logró excelentes resultados en los conjuntos de datos CIFAR-10, CIFAR-100 e ImageNet, y fue un algoritmo efectivo de búsqueda de arquitectura neural.