Diferenciación automática basada en múltiples inicios para métodos de optimización basados en gradientes
Autores: Della Santa, Francesco
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Diferenciación automática basada en múltiples inicios para métodos de optimización basados en gradientes
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Problemas de optimización
Enfoques de diversificación
Método de inicio múltiple
Paralelización
Diferenciación automática
Métodos basados en gradiente
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
En problemas de optimización global, a menudo son necesarios enfoques de diversificación para superar la convergencia hacia óptimos locales. Un enfoque es el método de múltiples arranques, donde se toma en cuenta un conjunto de configuraciones iniciales diferentes para designar el mejor mínimo local devuelto por los procedimientos de optimización múltiple como el óptimo global (posible). Por lo tanto, la paralelización es crucial para el método de múltiples arranques. En este trabajo, presentamos un nuevo enfoque de múltiples arranques para métodos de optimización basados en gradientes que explota la Diferenciación Automática inversa para funcionar eficientemente. En particular, para cada paso, este método basado en Diferenciación Automática es capaz de calcular los gradientes de los procedimientos de optimización de manera extremadamente rápida, explotando la paralelización implícita garantizada por la representación del grafo computacional del problema de múltiples arranques. Las ventajas prácticas del método propuesto se ilustran mediante el análisis de la complejidad temporal desde un punto de vista teórico y mostrando ejemplos numéricos donde la aceleración es entre y , con respecto a los métodos de paralelización clásicos. Además, mostramos que nuestro enfoque de múltiples arranques basado en DA se puede implementar utilizando Redes Neuronales poco profundas personalizadas, aprovechando los procedimientos de optimización integrados de los marcos de trabajo de Aprendizaje Profundo.
Descripción
En problemas de optimización global, a menudo son necesarios enfoques de diversificación para superar la convergencia hacia óptimos locales. Un enfoque es el método de múltiples arranques, donde se toma en cuenta un conjunto de configuraciones iniciales diferentes para designar el mejor mínimo local devuelto por los procedimientos de optimización múltiple como el óptimo global (posible). Por lo tanto, la paralelización es crucial para el método de múltiples arranques. En este trabajo, presentamos un nuevo enfoque de múltiples arranques para métodos de optimización basados en gradientes que explota la Diferenciación Automática inversa para funcionar eficientemente. En particular, para cada paso, este método basado en Diferenciación Automática es capaz de calcular los gradientes de los procedimientos de optimización de manera extremadamente rápida, explotando la paralelización implícita garantizada por la representación del grafo computacional del problema de múltiples arranques. Las ventajas prácticas del método propuesto se ilustran mediante el análisis de la complejidad temporal desde un punto de vista teórico y mostrando ejemplos numéricos donde la aceleración es entre y , con respecto a los métodos de paralelización clásicos. Además, mostramos que nuestro enfoque de múltiples arranques basado en DA se puede implementar utilizando Redes Neuronales poco profundas personalizadas, aprovechando los procedimientos de optimización integrados de los marcos de trabajo de Aprendizaje Profundo.