logo móvil
Contáctanos

Una Alternativa Globalmente Óptima a MLP

Autores: Li, Zheng; Cheng, Jerry; Gu, Huanying Helen

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico
2025

Una Alternativa Globalmente Óptima a MLP


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Aprendizaje profundo
Mínimo global
Perceptrones Multicapa
Regresor de Lagrange
Convergencia
Redes neuronales

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
En el aprendizaje profundo, alcanzar el mínimo global representa un desafío significativo, incluso para arquitecturas relativamente simples como los Perceptrones Multicapa (MLPs). Para abordar este desafío, visualizamos los estados del modelo tanto en óptimos locales como globales, identificando así los factores que impiden la transición de los modelos de mínimos locales a globales al emplear metodologías de entrenamiento de modelos convencionales. Basándonos en estas ideas, proponemos el Regresor de Lagrange (LReg), un marco que es matemáticamente equivalente a los MLPs. En lugar de actualizaciones a través de técnicas de optimización, LReg emplea un proceso de Refinamiento-Coarsening de Malla (discreto) para asegurar la convergencia de la función de pérdida del modelo al mínimo global. LReg logra una convergencia más rápida y supera las limitaciones inherentes de las redes neuronales en el ajuste de funciones de múltiples frecuencias. Los experimentos realizados en benchmarks a gran escala, incluyendo ImageNet-1K (clasificación de imágenes), GLUE (comprensión del lenguaje natural) y WikiText (modelado del lenguaje), muestran que LReg mejora consistentemente el rendimiento de los modelos preentrenados, reduce significativamente la pérdida en las pruebas y se escala de manera efectiva a escenarios de grandes datos. Estos resultados subrayan el potencial de LReg como una alternativa escalable y libre de optimización para el aprendizaje profundo en conjuntos de datos grandes y complejos, alineándose estrechamente con los objetivos de la analítica innovadora de grandes datos.

Otros recursos que podrían interesarte

Temas Virtualpro