Sobre la selección adaptativa del parámetro de penalización en ADMM
Autores: Crisci, Serena; De Simone, Valentina; Viola, Marco
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Sobre la selección adaptativa del parámetro de penalización en ADMM
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Análisis de datos
Optimización restringida
Términos de regularización
Método de los Multiplicadores de Dirección Alternativos
Penalización de parámetros
Lagrangiano Aumentado
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 26
Citaciones: Sin citaciones
Muchos problemas de análisis de datos pueden ser modelados como un problema de optimización restringida caracterizado por funcionales no suaves, a menudo debido a la presencia de términos de regularización. Una de las formas más efectivas de resolver tales problemas es a través del Método de los Multiplicadores de Dirección Alternativa (ADMM), que ha demostrado tener buenas propiedades de convergencia teórica incluso si los subproblemas resultantes se resuelven de manera inexacta. Sin embargo, la experiencia muestra que la elección del parámetro que penaliza la violación de la restricción en la Lagrangiana Aumentada subyacente a ADMM afecta el rendimiento del método. Con este fin, las estrategias para la selección adaptativa de dicho parámetro han sido analizadas en la literatura y siguen siendo de gran interés. En este documento, partiendo de una estrategia espectral adaptativa recientemente propuesta en la literatura, investigamos el uso de diferentes estrategias basadas en reglas de tamaño de paso tipo Barzilai-Borwein. Probamos la efectividad de las estrategias propuestas en la solución de problemas de regresión logística de consenso y optimización de carteras de la vida real.
Descripción
Muchos problemas de análisis de datos pueden ser modelados como un problema de optimización restringida caracterizado por funcionales no suaves, a menudo debido a la presencia de términos de regularización. Una de las formas más efectivas de resolver tales problemas es a través del Método de los Multiplicadores de Dirección Alternativa (ADMM), que ha demostrado tener buenas propiedades de convergencia teórica incluso si los subproblemas resultantes se resuelven de manera inexacta. Sin embargo, la experiencia muestra que la elección del parámetro que penaliza la violación de la restricción en la Lagrangiana Aumentada subyacente a ADMM afecta el rendimiento del método. Con este fin, las estrategias para la selección adaptativa de dicho parámetro han sido analizadas en la literatura y siguen siendo de gran interés. En este documento, partiendo de una estrategia espectral adaptativa recientemente propuesta en la literatura, investigamos el uso de diferentes estrategias basadas en reglas de tamaño de paso tipo Barzilai-Borwein. Probamos la efectividad de las estrategias propuestas en la solución de problemas de regresión logística de consenso y optimización de carteras de la vida real.