logo móvil
Contáctanos

Combinando métodos de optimización mediante un meta-optimizador adaptativo

Autores: Landro, Nicola; Gallo, Ignazio; La Grassa, Riccardo

Idioma: Inglés

Editor: MDPI

Año: 2021

Descargar PDF

Acceso abierto

Artículo científico
2021

Combinando métodos de optimización mediante un meta-optimizador adaptativo


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Software

Palabras clave

Métodos de optimización
Redes neuronales
Optimizadores
ATMO
Modelos neuronales profundos
Experimentos

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 31

Citaciones: Sin citaciones


Descripción
Los métodos de optimización son de gran importancia para el entrenamiento eficiente de las redes neuronales. Hay muchos artículos en la literatura que proponen variantes particulares de optimizadores existentes. En nuestro artículo, proponemos el uso de la combinación de dos optimizadores muy diferentes que, al usarse simultáneamente, pueden superar el rendimiento de los optimizadores individuales en problemas muy diferentes. Proponemos un nuevo optimizador llamado ATMO (AdapTive Meta Optimizers), que integra dos optimizadores diferentes simultáneamente, ponderando las contribuciones de ambos. En lugar de intentar mejorar cada uno por separado, aprovechamos ambos al mismo tiempo, como un meta-optimizador, tomando lo mejor de ambos. Hemos realizado varios experimentos en la clasificación de imágenes y documentos de texto, utilizando varios tipos de modelos neuronales profundos, y hemos demostrado a través de experimentos que el ATMO propuesto produce un mejor rendimiento que los optimizadores individuales.

Otros recursos que podrían interesarte

Temas Virtualpro