Lmd-darts: búsqueda de arquitectura diferenciable, densamente conectada y de baja memoria
Autores: Li, Zhongnian; Xu, Yixin; Ying, Peng; Chen, Hu; Sun, Renke; Xu, Xinzheng
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Lmd-darts: búsqueda de arquitectura diferenciable, densamente conectada y de baja memoria
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Búsqueda de arquitectura de redes neuronales
Redes neuronales convolucionales ligeras
Baja memoria
Densamente conectadas
Búsqueda de arquitectura diferenciable
LMD-DARTS
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
La tecnología de búsqueda de arquitectura de redes neuronales (NAS) es fundamental para diseñar redes neuronales convolucionales (CNN) ligeras, facilitando la búsqueda automática de estructuras de red sin requerir un extenso conocimiento previo. Sin embargo, NAS es intensivo en recursos, consumiendo una gran potencia computacional y tiempo debido a la evaluación de numerosas arquitecturas candidatas. Para abordar los problemas de alto uso de memoria y la lenta velocidad de búsqueda en algoritmos NAS tradicionales, proponemos el algoritmo de Búsqueda de Arquitectura Diferenciable, Conectada Densamente y de Bajo Consumo de Memoria (LMD-DARTS). Para acelerar la velocidad de actualización de los pesos de operación opcionales durante el proceso de búsqueda, LMD-DARTS introduce una estrategia continua basada en la redistribución de pesos. Además, para mitigar la influencia de operaciones de bajo peso en los resultados de clasificación y reducir el número de búsquedas, LMD-DARTS emplea un muestreador dinámico para podar operaciones con bajo rendimiento durante el proceso de búsqueda, reduciendo así el consumo de memoria y simplificando la complejidad de las búsquedas individuales. Además, para esparcir la matriz de conexiones densas y mitigar conexiones redundantes manteniendo un rendimiento óptimo de la red, introducimos un algoritmo de búsqueda adaptativo de submuestreo. Nuestros resultados experimentales muestran que el LMD-DARTS propuesto logra una notable reducción del 20% en el tiempo de búsqueda, junto con una disminución significativa en la utilización de memoria dentro del proceso NAS. Especialmente, las CNN ligeras derivadas a través de este algoritmo exhiben una notable precisión de clasificación, subrayando su eficacia y eficiencia para aplicaciones prácticas.
Descripción
La tecnología de búsqueda de arquitectura de redes neuronales (NAS) es fundamental para diseñar redes neuronales convolucionales (CNN) ligeras, facilitando la búsqueda automática de estructuras de red sin requerir un extenso conocimiento previo. Sin embargo, NAS es intensivo en recursos, consumiendo una gran potencia computacional y tiempo debido a la evaluación de numerosas arquitecturas candidatas. Para abordar los problemas de alto uso de memoria y la lenta velocidad de búsqueda en algoritmos NAS tradicionales, proponemos el algoritmo de Búsqueda de Arquitectura Diferenciable, Conectada Densamente y de Bajo Consumo de Memoria (LMD-DARTS). Para acelerar la velocidad de actualización de los pesos de operación opcionales durante el proceso de búsqueda, LMD-DARTS introduce una estrategia continua basada en la redistribución de pesos. Además, para mitigar la influencia de operaciones de bajo peso en los resultados de clasificación y reducir el número de búsquedas, LMD-DARTS emplea un muestreador dinámico para podar operaciones con bajo rendimiento durante el proceso de búsqueda, reduciendo así el consumo de memoria y simplificando la complejidad de las búsquedas individuales. Además, para esparcir la matriz de conexiones densas y mitigar conexiones redundantes manteniendo un rendimiento óptimo de la red, introducimos un algoritmo de búsqueda adaptativo de submuestreo. Nuestros resultados experimentales muestran que el LMD-DARTS propuesto logra una notable reducción del 20% en el tiempo de búsqueda, junto con una disminución significativa en la utilización de memoria dentro del proceso NAS. Especialmente, las CNN ligeras derivadas a través de este algoritmo exhiben una notable precisión de clasificación, subrayando su eficacia y eficiencia para aplicaciones prácticas.