Un algoritmo de gradiente entero-fraccional para redes neuronales de retropropagación
Autores: Zhang, Yiqun; Xu, Honglei; Li, Yang; Lin, Gang; Zhang, Liyuan; Tao, Chaoyang; Wu, Yonghong
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un algoritmo de gradiente entero-fraccional para redes neuronales de retropropagación
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Algoritmo de optimización
Redes neuronales de retropropagación
Diferenciación de orden fraccional
Mixto entero-fraccional
Algoritmo de descenso de gradiente
Precisión de clasificación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 50
Citaciones: Sin citaciones
Este documento propone un nuevo algoritmo de optimización para redes neuronales de retropropagación (BP) al fusionar la diferenciación de orden entero y la diferenciación de orden fraccional, mientras que la diferenciación de orden fraccional tiene ventajas significativas en la descripción de fenómenos complejos con efectos de memoria a largo plazo y no localidad, su aplicación en redes neuronales a menudo se ve limitada por la falta de interpretabilidad física e inconsistencias con modelos tradicionales. Para abordar estos desafíos, proponemos un algoritmo de descenso de gradiente mixto entero-fraccional (MIF) para el entrenamiento de redes neuronales. Además, se proporciona un análisis detallado de convergencia del algoritmo propuesto. Finalmente, experimentos numéricos ilustran que el nuevo algoritmo de descenso de gradiente no solo acelera la convergencia de las redes neuronales BP, sino que también aumenta su precisión de clasificación.
Descripción
Este documento propone un nuevo algoritmo de optimización para redes neuronales de retropropagación (BP) al fusionar la diferenciación de orden entero y la diferenciación de orden fraccional, mientras que la diferenciación de orden fraccional tiene ventajas significativas en la descripción de fenómenos complejos con efectos de memoria a largo plazo y no localidad, su aplicación en redes neuronales a menudo se ve limitada por la falta de interpretabilidad física e inconsistencias con modelos tradicionales. Para abordar estos desafíos, proponemos un algoritmo de descenso de gradiente mixto entero-fraccional (MIF) para el entrenamiento de redes neuronales. Además, se proporciona un análisis detallado de convergencia del algoritmo propuesto. Finalmente, experimentos numéricos ilustran que el nuevo algoritmo de descenso de gradiente no solo acelera la convergencia de las redes neuronales BP, sino que también aumenta su precisión de clasificación.