Una mejora de Adam basada en una tasa de aprendizaje cíclica de decaimiento exponencial y restricciones de norma de gradiente
Autores: Shao, Yichuan; Yang, Jiapeng; Zhou, Wen; Sun, Haijing; Xing, Lei; Zhao, Qian; Zhang, Le
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Una mejora de Adam basada en una tasa de aprendizaje cíclica de decaimiento exponencial y restricciones de norma de gradiente
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Limitaciones
Algoritmo Adam
Ciclo-Norm-Adam
Algoritmo de optimización
Velocidad de convergencia
Resultados experimentales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
Apuntando a una serie de limitaciones del algoritmo Adam, como la sensibilidad a los hiperparámetros y la convergencia inestable, en este artículo se propone un algoritmo de optimización mejorado, el algoritmo Cycle-Norm-Adam (CN-Adam). El algoritmo integra las ideas de una tasa de aprendizaje cíclica de decaimiento exponencial (CEDLR) y restricciones de paradigma de gradiente, acelerando la velocidad de convergencia del modelo Adam y mejorando su rendimiento de generalización mediante el ajuste dinámico de la tasa de aprendizaje. Para verificar la efectividad del algoritmo CN-Adam, realizamos extensos estudios experimentales. El algoritmo CN-Adam logró mejoras significativas de rendimiento en ambos conjuntos de datos estándar. Los resultados experimentales muestran que el algoritmo CN-Adam logró una precisión del 98.54% en el conjunto de datos MNIST y del 72.10% en el conjunto de datos CIFAR10. Debido a la complejidad y especificidad de las imágenes médicas, el algoritmo fue probado en un conjunto de datos médicos y logró una precisión del 78.80%, que fue mejor que la de otros algoritmos. Los resultados experimentales muestran que el algoritmo de optimización CN-Adam proporciona una estrategia de optimización efectiva para mejorar el rendimiento del modelo y promover la investigación médica.
Descripción
Apuntando a una serie de limitaciones del algoritmo Adam, como la sensibilidad a los hiperparámetros y la convergencia inestable, en este artículo se propone un algoritmo de optimización mejorado, el algoritmo Cycle-Norm-Adam (CN-Adam). El algoritmo integra las ideas de una tasa de aprendizaje cíclica de decaimiento exponencial (CEDLR) y restricciones de paradigma de gradiente, acelerando la velocidad de convergencia del modelo Adam y mejorando su rendimiento de generalización mediante el ajuste dinámico de la tasa de aprendizaje. Para verificar la efectividad del algoritmo CN-Adam, realizamos extensos estudios experimentales. El algoritmo CN-Adam logró mejoras significativas de rendimiento en ambos conjuntos de datos estándar. Los resultados experimentales muestran que el algoritmo CN-Adam logró una precisión del 98.54% en el conjunto de datos MNIST y del 72.10% en el conjunto de datos CIFAR10. Debido a la complejidad y especificidad de las imágenes médicas, el algoritmo fue probado en un conjunto de datos médicos y logró una precisión del 78.80%, que fue mejor que la de otros algoritmos. Los resultados experimentales muestran que el algoritmo de optimización CN-Adam proporciona una estrategia de optimización efectiva para mejorar el rendimiento del modelo y promover la investigación médica.