Egnas: búsqueda eficiente de arquitectura de redes neuronales mediante algoritmo evolutivo
Autores: Jwa, Younkyung; Ahn, Chang Wook; Kim, Man-Je
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Egnas: búsqueda eficiente de arquitectura de redes neuronales mediante algoritmo evolutivo
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Eficiencia
Efectividad
Búsqueda de arquitectura neuronal
Redes neuronales gráficas
EGNAS
Estrategias de búsqueda evolutiva
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 47
Citaciones: Sin citaciones
El objetivo principal de nuestra investigación es mejorar la eficiencia y efectividad de la Búsqueda de Arquitectura Neural (NAS) en relación con las Redes Neuronales de Grafos (GNNs). GNNs han surgido como herramientas poderosas para aprender de datos de red no estructurados, compensando varias limitaciones conocidas de las Redes Neuronales Convolucionales (CNNs). Sin embargo, la búsqueda automática de arquitecturas GNN óptimas ha visto poco avance progresivo hasta ahora. Para abordar esta brecha, presentamos la Búsqueda de Arquitectura Neural de Grafos Eficiente (EGNAS), un método que aprovecha las ventajas de las estrategias de búsqueda evolutiva. EGNAS incorpora el uso compartido de parámetros heredados, permitiendo que los descendientes hereden parámetros de sus padres, y utiliza medias épocas para mejorar la estabilidad de la optimización. Además, EGNAS emplea una búsqueda evolutiva combinada, que explora tanto la estructura del modelo como los hiperparámetros dentro de un amplio espacio de búsqueda, lo que resulta en un rendimiento mejorado. Nuestros resultados experimentales demuestran que EGNAS supera a los métodos de última generación en tareas de clasificación de nodos en los conjuntos de datos de Cora, Citeseer y PubMed manteniendo un alto grado de eficiencia computacional. En particular, EGNAS es el método de búsqueda de arquitectura GNN más rápido en términos de tiempo de búsqueda, especialmente en comparación con las estrategias de búsqueda evolutiva sugeridas previamente, ofreciendo un rendimiento hasta 40 veces más rápido.
Descripción
El objetivo principal de nuestra investigación es mejorar la eficiencia y efectividad de la Búsqueda de Arquitectura Neural (NAS) en relación con las Redes Neuronales de Grafos (GNNs). GNNs han surgido como herramientas poderosas para aprender de datos de red no estructurados, compensando varias limitaciones conocidas de las Redes Neuronales Convolucionales (CNNs). Sin embargo, la búsqueda automática de arquitecturas GNN óptimas ha visto poco avance progresivo hasta ahora. Para abordar esta brecha, presentamos la Búsqueda de Arquitectura Neural de Grafos Eficiente (EGNAS), un método que aprovecha las ventajas de las estrategias de búsqueda evolutiva. EGNAS incorpora el uso compartido de parámetros heredados, permitiendo que los descendientes hereden parámetros de sus padres, y utiliza medias épocas para mejorar la estabilidad de la optimización. Además, EGNAS emplea una búsqueda evolutiva combinada, que explora tanto la estructura del modelo como los hiperparámetros dentro de un amplio espacio de búsqueda, lo que resulta en un rendimiento mejorado. Nuestros resultados experimentales demuestran que EGNAS supera a los métodos de última generación en tareas de clasificación de nodos en los conjuntos de datos de Cora, Citeseer y PubMed manteniendo un alto grado de eficiencia computacional. En particular, EGNAS es el método de búsqueda de arquitectura GNN más rápido en términos de tiempo de búsqueda, especialmente en comparación con las estrategias de búsqueda evolutiva sugeridas previamente, ofreciendo un rendimiento hasta 40 veces más rápido.