logo móvil
Contáctanos

Un enfoque de optimización de gradiente controlado por interpolación lineal y curvatura basado en Adam

Autores: Sun, Haijing; Zhou, Wen; Shao, Yichuan; Cui, Jiaqi; Xing, Lei; Zhao, Qian; Zhang, Le

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Un enfoque de optimización de gradiente controlado por interpolación lineal y curvatura basado en Adam


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Software

Palabras clave

Algoritmo
Entrenamiento de redes neuronales
LCMAdam
Optimizador
Tasa de aprendizaje
Aprendizaje profundo

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 35

Citaciones: Sin citaciones


Descripción
El algoritmo Adam es un optimizador ampliamente utilizado para el entrenamiento de redes neuronales debido a su eficiente velocidad de convergencia. El algoritmo es propenso a una tasa de aprendizaje inestable y degradación del rendimiento en algunos modelos. Para resolver estos problemas, en este documento se propone un algoritmo mejorado llamado Linear Curvature Momentum Adam (LCMAdam), que introduce estrategias de gradiente controlado por curvatura e interpolación lineal. El gradiente controlado por curvatura puede hacer que la actualización del gradiente sea más suave, y la técnica de interpolación lineal puede ajustar de forma adaptativa el tamaño de la tasa de aprendizaje según las características de la curva durante el proceso de entrenamiento para que pueda encontrar el valor exacto más rápido, lo que mejora la eficiencia y la robustez del entrenamiento. Los resultados experimentales muestran que el algoritmo LCMAdam logra una precisión del 98.49% en el conjunto de datos MNIST, del 75.20% en el conjunto de datos CIFAR10 y del 76.80% en el conjunto de datos Stomach, que es más difícil de reconocer imágenes médicas. El optimizador LCMAdam logra mejoras significativas en el rendimiento en una variedad de estructuras y tareas de redes neuronales, demostrando su efectividad y utilidad en el campo del aprendizaje profundo.

Otros recursos que podrían interesarte

Temas Virtualpro