Combinando métodos de optimización mediante un meta-optimizador adaptativo
Autores: Landro, Nicola; Gallo, Ignazio; La Grassa, Riccardo
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Combinando métodos de optimización mediante un meta-optimizador adaptativo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Métodos de optimización
Redes neuronales
Optimizadores
ATMO
Modelos neuronales profundos
Experimentos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
Los métodos de optimización son de gran importancia para el entrenamiento eficiente de las redes neuronales. Hay muchos artículos en la literatura que proponen variantes particulares de optimizadores existentes. En nuestro artículo, proponemos el uso de la combinación de dos optimizadores muy diferentes que, al usarse simultáneamente, pueden superar el rendimiento de los optimizadores individuales en problemas muy diferentes. Proponemos un nuevo optimizador llamado ATMO (AdapTive Meta Optimizers), que integra dos optimizadores diferentes simultáneamente, ponderando las contribuciones de ambos. En lugar de intentar mejorar cada uno por separado, aprovechamos ambos al mismo tiempo, como un meta-optimizador, tomando lo mejor de ambos. Hemos realizado varios experimentos en la clasificación de imágenes y documentos de texto, utilizando varios tipos de modelos neuronales profundos, y hemos demostrado a través de experimentos que el ATMO propuesto produce un mejor rendimiento que los optimizadores individuales.
Descripción
Los métodos de optimización son de gran importancia para el entrenamiento eficiente de las redes neuronales. Hay muchos artículos en la literatura que proponen variantes particulares de optimizadores existentes. En nuestro artículo, proponemos el uso de la combinación de dos optimizadores muy diferentes que, al usarse simultáneamente, pueden superar el rendimiento de los optimizadores individuales en problemas muy diferentes. Proponemos un nuevo optimizador llamado ATMO (AdapTive Meta Optimizers), que integra dos optimizadores diferentes simultáneamente, ponderando las contribuciones de ambos. En lugar de intentar mejorar cada uno por separado, aprovechamos ambos al mismo tiempo, como un meta-optimizador, tomando lo mejor de ambos. Hemos realizado varios experimentos en la clasificación de imágenes y documentos de texto, utilizando varios tipos de modelos neuronales profundos, y hemos demostrado a través de experimentos que el ATMO propuesto produce un mejor rendimiento que los optimizadores individuales.