logo móvil
Contáctanos

Una mejora de Adam basada en una tasa de aprendizaje cíclica de decaimiento exponencial y restricciones de norma de gradiente

Autores: Shao, Yichuan; Yang, Jiapeng; Zhou, Wen; Sun, Haijing; Xing, Lei; Zhao, Qian; Zhang, Le

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Una mejora de Adam basada en una tasa de aprendizaje cíclica de decaimiento exponencial y restricciones de norma de gradiente


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Limitaciones
Algoritmo Adam
Ciclo-Norm-Adam
Algoritmo de optimización
Velocidad de convergencia
Resultados experimentales

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 27

Citaciones: Sin citaciones


Descripción
Apuntando a una serie de limitaciones del algoritmo Adam, como la sensibilidad a los hiperparámetros y la convergencia inestable, en este artículo se propone un algoritmo de optimización mejorado, el algoritmo Cycle-Norm-Adam (CN-Adam). El algoritmo integra las ideas de una tasa de aprendizaje cíclica de decaimiento exponencial (CEDLR) y restricciones de paradigma de gradiente, acelerando la velocidad de convergencia del modelo Adam y mejorando su rendimiento de generalización mediante el ajuste dinámico de la tasa de aprendizaje. Para verificar la efectividad del algoritmo CN-Adam, realizamos extensos estudios experimentales. El algoritmo CN-Adam logró mejoras significativas de rendimiento en ambos conjuntos de datos estándar. Los resultados experimentales muestran que el algoritmo CN-Adam logró una precisión del 98.54% en el conjunto de datos MNIST y del 72.10% en el conjunto de datos CIFAR10. Debido a la complejidad y especificidad de las imágenes médicas, el algoritmo fue probado en un conjunto de datos médicos y logró una precisión del 78.80%, que fue mejor que la de otros algoritmos. Los resultados experimentales muestran que el algoritmo de optimización CN-Adam proporciona una estrategia de optimización efectiva para mejorar el rendimiento del modelo y promover la investigación médica.

Otros recursos que podrían interesarte

Temas Virtualpro