Métodos de Subgradiente Débil Incremental para Problemas de Optimización No Suaves No Convexos
Autores: Araboljadidi, Narges; De Simone, Valentina
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Métodos de Subgradiente Débil Incremental para Problemas de Optimización No Suaves No Convexos
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Problemas de optimización no suaves
No convexos
Aprendizaje automático
Continuo de Lipschitz
Subgradientes débiles
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los problemas de optimización no suaves y no convexos surgen con frecuencia en aplicaciones modernas de aprendizaje automático, sin embargo, resolverlos de manera eficiente sigue siendo un desafío. Este artículo aborda la minimización de funciones de la forma f(x)=Sumi=1mfi(x) donde cada componente es Lipschitz continua pero potencialmente no suave y no convexa. Extendemos el método de subgradiente incremental incorporando subgradientes débiles, lo que resulta en un marco más adecuado para objetivos no convexos. Proporcionamos un análisis de convergencia integral para tres estrategias de tamaño de paso: constante, decreciente y un nuevo enfoque dinámico. Nuestros resultados teóricos muestran que todas las variantes convergen a un vecindario de la solución óptima, con el tamaño de este vecindario gobernado por los parámetros del subgradiente débil. Experimentos numéricos en tareas de clasificación con regularización no convexa, evaluados en el conjunto de datos de Cáncer de Mama de Wisconsin, demuestran la efectividad del enfoque propuesto. En particular, el método de tamaño de paso dinámico logra un rendimiento práctico superior, superando tanto a las variantes clásicas como a las de tamaño de paso decreciente en términos de precisión y velocidad de convergencia. Estos resultados posicionan el marco de subgradiente débil incremental como una herramienta prometedora para la optimización escalable y eficiente en entornos de aprendizaje automático que involucran objetivos no convexos.
Descripción
Los problemas de optimización no suaves y no convexos surgen con frecuencia en aplicaciones modernas de aprendizaje automático, sin embargo, resolverlos de manera eficiente sigue siendo un desafío. Este artículo aborda la minimización de funciones de la forma f(x)=Sumi=1mfi(x) donde cada componente es Lipschitz continua pero potencialmente no suave y no convexa. Extendemos el método de subgradiente incremental incorporando subgradientes débiles, lo que resulta en un marco más adecuado para objetivos no convexos. Proporcionamos un análisis de convergencia integral para tres estrategias de tamaño de paso: constante, decreciente y un nuevo enfoque dinámico. Nuestros resultados teóricos muestran que todas las variantes convergen a un vecindario de la solución óptima, con el tamaño de este vecindario gobernado por los parámetros del subgradiente débil. Experimentos numéricos en tareas de clasificación con regularización no convexa, evaluados en el conjunto de datos de Cáncer de Mama de Wisconsin, demuestran la efectividad del enfoque propuesto. En particular, el método de tamaño de paso dinámico logra un rendimiento práctico superior, superando tanto a las variantes clásicas como a las de tamaño de paso decreciente en términos de precisión y velocidad de convergencia. Estos resultados posicionan el marco de subgradiente débil incremental como una herramienta prometedora para la optimización escalable y eficiente en entornos de aprendizaje automático que involucran objetivos no convexos.