Un enfoque de optimización de gradiente controlado por interpolación lineal y curvatura basado en Adam
Autores: Sun, Haijing; Zhou, Wen; Shao, Yichuan; Cui, Jiaqi; Xing, Lei; Zhao, Qian; Zhang, Le
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un enfoque de optimización de gradiente controlado por interpolación lineal y curvatura basado en Adam
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Algoritmo
Entrenamiento de redes neuronales
LCMAdam
Optimizador
Tasa de aprendizaje
Aprendizaje profundo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
El algoritmo Adam es un optimizador ampliamente utilizado para el entrenamiento de redes neuronales debido a su eficiente velocidad de convergencia. El algoritmo es propenso a una tasa de aprendizaje inestable y degradación del rendimiento en algunos modelos. Para resolver estos problemas, en este documento se propone un algoritmo mejorado llamado Linear Curvature Momentum Adam (LCMAdam), que introduce estrategias de gradiente controlado por curvatura e interpolación lineal. El gradiente controlado por curvatura puede hacer que la actualización del gradiente sea más suave, y la técnica de interpolación lineal puede ajustar de forma adaptativa el tamaño de la tasa de aprendizaje según las características de la curva durante el proceso de entrenamiento para que pueda encontrar el valor exacto más rápido, lo que mejora la eficiencia y la robustez del entrenamiento. Los resultados experimentales muestran que el algoritmo LCMAdam logra una precisión del 98.49% en el conjunto de datos MNIST, del 75.20% en el conjunto de datos CIFAR10 y del 76.80% en el conjunto de datos Stomach, que es más difícil de reconocer imágenes médicas. El optimizador LCMAdam logra mejoras significativas en el rendimiento en una variedad de estructuras y tareas de redes neuronales, demostrando su efectividad y utilidad en el campo del aprendizaje profundo.
Descripción
El algoritmo Adam es un optimizador ampliamente utilizado para el entrenamiento de redes neuronales debido a su eficiente velocidad de convergencia. El algoritmo es propenso a una tasa de aprendizaje inestable y degradación del rendimiento en algunos modelos. Para resolver estos problemas, en este documento se propone un algoritmo mejorado llamado Linear Curvature Momentum Adam (LCMAdam), que introduce estrategias de gradiente controlado por curvatura e interpolación lineal. El gradiente controlado por curvatura puede hacer que la actualización del gradiente sea más suave, y la técnica de interpolación lineal puede ajustar de forma adaptativa el tamaño de la tasa de aprendizaje según las características de la curva durante el proceso de entrenamiento para que pueda encontrar el valor exacto más rápido, lo que mejora la eficiencia y la robustez del entrenamiento. Los resultados experimentales muestran que el algoritmo LCMAdam logra una precisión del 98.49% en el conjunto de datos MNIST, del 75.20% en el conjunto de datos CIFAR10 y del 76.80% en el conjunto de datos Stomach, que es más difícil de reconocer imágenes médicas. El optimizador LCMAdam logra mejoras significativas en el rendimiento en una variedad de estructuras y tareas de redes neuronales, demostrando su efectividad y utilidad en el campo del aprendizaje profundo.