Una Alternativa Globalmente Óptima a MLP
Autores: Li, Zheng; Cheng, Jerry; Gu, Huanying Helen
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Una Alternativa Globalmente Óptima a MLP
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Aprendizaje profundo
Mínimo global
Perceptrones Multicapa
Regresor de Lagrange
Convergencia
Redes neuronales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
En el aprendizaje profundo, alcanzar el mínimo global representa un desafío significativo, incluso para arquitecturas relativamente simples como los Perceptrones Multicapa (MLPs). Para abordar este desafío, visualizamos los estados del modelo tanto en óptimos locales como globales, identificando así los factores que impiden la transición de los modelos de mínimos locales a globales al emplear metodologías de entrenamiento de modelos convencionales. Basándonos en estas ideas, proponemos el Regresor de Lagrange (LReg), un marco que es matemáticamente equivalente a los MLPs. En lugar de actualizaciones a través de técnicas de optimización, LReg emplea un proceso de Refinamiento-Coarsening de Malla (discreto) para asegurar la convergencia de la función de pérdida del modelo al mínimo global. LReg logra una convergencia más rápida y supera las limitaciones inherentes de las redes neuronales en el ajuste de funciones de múltiples frecuencias. Los experimentos realizados en benchmarks a gran escala, incluyendo ImageNet-1K (clasificación de imágenes), GLUE (comprensión del lenguaje natural) y WikiText (modelado del lenguaje), muestran que LReg mejora consistentemente el rendimiento de los modelos preentrenados, reduce significativamente la pérdida en las pruebas y se escala de manera efectiva a escenarios de grandes datos. Estos resultados subrayan el potencial de LReg como una alternativa escalable y libre de optimización para el aprendizaje profundo en conjuntos de datos grandes y complejos, alineándose estrechamente con los objetivos de la analítica innovadora de grandes datos.
Descripción
En el aprendizaje profundo, alcanzar el mínimo global representa un desafío significativo, incluso para arquitecturas relativamente simples como los Perceptrones Multicapa (MLPs). Para abordar este desafío, visualizamos los estados del modelo tanto en óptimos locales como globales, identificando así los factores que impiden la transición de los modelos de mínimos locales a globales al emplear metodologías de entrenamiento de modelos convencionales. Basándonos en estas ideas, proponemos el Regresor de Lagrange (LReg), un marco que es matemáticamente equivalente a los MLPs. En lugar de actualizaciones a través de técnicas de optimización, LReg emplea un proceso de Refinamiento-Coarsening de Malla (discreto) para asegurar la convergencia de la función de pérdida del modelo al mínimo global. LReg logra una convergencia más rápida y supera las limitaciones inherentes de las redes neuronales en el ajuste de funciones de múltiples frecuencias. Los experimentos realizados en benchmarks a gran escala, incluyendo ImageNet-1K (clasificación de imágenes), GLUE (comprensión del lenguaje natural) y WikiText (modelado del lenguaje), muestran que LReg mejora consistentemente el rendimiento de los modelos preentrenados, reduce significativamente la pérdida en las pruebas y se escala de manera efectiva a escenarios de grandes datos. Estos resultados subrayan el potencial de LReg como una alternativa escalable y libre de optimización para el aprendizaje profundo en conjuntos de datos grandes y complejos, alineándose estrechamente con los objetivos de la analítica innovadora de grandes datos.