logo móvil
Contáctanos

NdarTS: un búsqueda de arquitectura diferenciable basada en la serie de Neumann

Autores: Han, Xiaoyu; Li, Chenyu; Wang, Zifan; Liu, Guohua

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

NdarTS: un búsqueda de arquitectura diferenciable basada en la serie de Neumann


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Software

Palabras clave

Búsqueda de arquitectura neuronal
NAS
Aprendizaje automático automático
DARTS
NDARTS
Hiper-gradiente

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 44

Citaciones: Sin citaciones


Descripción
La arquitectura de búsqueda neural (NAS) ha demostrado un gran potencial en descubrir modelos de red poderosos y flexibles, convirtiéndose en una rama importante del aprendizaje automático automático (AutoML). Aunque los métodos de búsqueda basados en aprendizaje por refuerzo y algoritmos evolutivos pueden encontrar arquitecturas de alto rendimiento, estos métodos de búsqueda típicamente requieren cientos de días de GPU. A diferencia de la búsqueda en un espacio de búsqueda discreto basado en aprendizaje por refuerzo y algoritmos evolutivos, la búsqueda de arquitectura neural diferenciable (DARTS) relaja continuamente el espacio de búsqueda, permitiendo la optimización mediante métodos basados en gradientes. Basándonos en DARTS, proponemos NDARTS en este artículo. El nuevo algoritmo utiliza el Teorema de la Función Implícita y la serie de Neumann para aproximar el hipergradiente, lo cual obtiene mejores resultados que DARTS. En el experimento de simulación, se llevó a cabo un experimento de ablación para estudiar la influencia de los diferentes parámetros en el algoritmo NDARTS y determinar el peso óptimo, luego se buscó el mejor rendimiento del algoritmo NDARTS en el espacio de búsqueda de DARTS y en el espacio de búsqueda NAS-BENCH-201. En comparación con otros algoritmos NAS, los resultados mostraron que NDARTS logró excelentes resultados en los conjuntos de datos CIFAR-10, CIFAR-100 e ImageNet, y fue un algoritmo efectivo de búsqueda de arquitectura neural.

Otros recursos que podrían interesarte

Temas Virtualpro