logo móvil
Contáctanos

Un optimizador de aprendizaje profundo basado en la definición de orden fraccional de Grünwald-Letnikov

Autores: Zhou, Xiaojun; Zhao, Chunna; Huang, Yaqun

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Un optimizador de aprendizaje profundo basado en la definición de orden fraccional de Grünwald-Letnikov


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Aprendizaje profundo
Algoritmo de optimización
Cálculo fraccional
Descenso de gradiente
Descenso de gradiente estocástico
Predicción de series temporales

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 26

Citaciones: Sin citaciones


Descripción
En este documento se propone un algoritmo de optimización de aprendizaje profundo, que se basa en la definición de orden fraccional de Grünwald-Letnikov (G-L). Se diseña un descenso de gradiente de cálculo fraccional del optimizador basado en la definición de orden fraccional de G-L (FCGD_G-L). Usando el efecto de memoria corta de la definición de orden fraccional de G-L, la derivación solo necesita 10 pasos de tiempo. Al mismo tiempo, a través de la fórmula de transformación de la definición de orden fraccional de G-L, se elimina la función Gamma. De esta manera, se puede lograr la unificación del orden fraccional y el orden entero en FCGD_G-L. Para evitar que los parámetros caigan en un óptimo local, se agrega una pequeña perturbación en el proceso de despliegue. Según el descenso de gradiente estocástico (SGD) y Adam, se obtienen dos optimizadores: descenso de gradiente estocástico de cálculo fraccional basado en la definición de G-L (FCSGD_G-L) y Adam de cálculo fraccional basado en la definición de G-L (FCAdam_G-L). Estos optimizadores se validan en dos tareas de predicción de series temporales. Con el análisis de la pérdida de entrenamiento, los experimentos relacionados muestran que FCGD_G-L tiene una velocidad de convergencia más rápida y una mejor precisión de convergencia que el optimizador de orden entero convencional. Debido a la propiedad de orden fraccional, el optimizador muestra una mayor robustez y capacidad de generalización. A través de los conjuntos de prueba, utilizando el modelo óptimo guardado para evaluar, FCGD_G-L también muestra un mejor efecto de evaluación que el optimizador de orden entero convencional.

Otros recursos que podrían interesarte

Temas Virtualpro