Un optimizador de aprendizaje profundo basado en la definición de orden fraccional de Grünwald-Letnikov
Autores: Zhou, Xiaojun; Zhao, Chunna; Huang, Yaqun
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un optimizador de aprendizaje profundo basado en la definición de orden fraccional de Grünwald-Letnikov
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Aprendizaje profundo
Algoritmo de optimización
Cálculo fraccional
Descenso de gradiente
Descenso de gradiente estocástico
Predicción de series temporales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 26
Citaciones: Sin citaciones
En este documento se propone un algoritmo de optimización de aprendizaje profundo, que se basa en la definición de orden fraccional de Grünwald-Letnikov (G-L). Se diseña un descenso de gradiente de cálculo fraccional del optimizador basado en la definición de orden fraccional de G-L (FCGD_G-L). Usando el efecto de memoria corta de la definición de orden fraccional de G-L, la derivación solo necesita 10 pasos de tiempo. Al mismo tiempo, a través de la fórmula de transformación de la definición de orden fraccional de G-L, se elimina la función Gamma. De esta manera, se puede lograr la unificación del orden fraccional y el orden entero en FCGD_G-L. Para evitar que los parámetros caigan en un óptimo local, se agrega una pequeña perturbación en el proceso de despliegue. Según el descenso de gradiente estocástico (SGD) y Adam, se obtienen dos optimizadores: descenso de gradiente estocástico de cálculo fraccional basado en la definición de G-L (FCSGD_G-L) y Adam de cálculo fraccional basado en la definición de G-L (FCAdam_G-L). Estos optimizadores se validan en dos tareas de predicción de series temporales. Con el análisis de la pérdida de entrenamiento, los experimentos relacionados muestran que FCGD_G-L tiene una velocidad de convergencia más rápida y una mejor precisión de convergencia que el optimizador de orden entero convencional. Debido a la propiedad de orden fraccional, el optimizador muestra una mayor robustez y capacidad de generalización. A través de los conjuntos de prueba, utilizando el modelo óptimo guardado para evaluar, FCGD_G-L también muestra un mejor efecto de evaluación que el optimizador de orden entero convencional.
Descripción
En este documento se propone un algoritmo de optimización de aprendizaje profundo, que se basa en la definición de orden fraccional de Grünwald-Letnikov (G-L). Se diseña un descenso de gradiente de cálculo fraccional del optimizador basado en la definición de orden fraccional de G-L (FCGD_G-L). Usando el efecto de memoria corta de la definición de orden fraccional de G-L, la derivación solo necesita 10 pasos de tiempo. Al mismo tiempo, a través de la fórmula de transformación de la definición de orden fraccional de G-L, se elimina la función Gamma. De esta manera, se puede lograr la unificación del orden fraccional y el orden entero en FCGD_G-L. Para evitar que los parámetros caigan en un óptimo local, se agrega una pequeña perturbación en el proceso de despliegue. Según el descenso de gradiente estocástico (SGD) y Adam, se obtienen dos optimizadores: descenso de gradiente estocástico de cálculo fraccional basado en la definición de G-L (FCSGD_G-L) y Adam de cálculo fraccional basado en la definición de G-L (FCAdam_G-L). Estos optimizadores se validan en dos tareas de predicción de series temporales. Con el análisis de la pérdida de entrenamiento, los experimentos relacionados muestran que FCGD_G-L tiene una velocidad de convergencia más rápida y una mejor precisión de convergencia que el optimizador de orden entero convencional. Debido a la propiedad de orden fraccional, el optimizador muestra una mayor robustez y capacidad de generalización. A través de los conjuntos de prueba, utilizando el modelo óptimo guardado para evaluar, FCGD_G-L también muestra un mejor efecto de evaluación que el optimizador de orden entero convencional.