Un nuevo tamaño de paso senoidal para el descenso de gradiente estocástico con reinicio cálido
Autores: Soheil Shamaee, Mahsa; Fathi Hafshejani, Sajad
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un nuevo tamaño de paso senoidal para el descenso de gradiente estocástico con reinicio cálido
Categoría
Matemáticas
Subcategoría
Análisis matemático
Palabras clave
Propuesto
Tamaño de paso seno
Reinicio cálido
Descenso de gradiente estocástico
Tasas de convergencia
Funciones no convexas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 40
Citaciones: Sin citaciones
Este documento propone un nuevo tamaño de paso seno para el descenso de gradiente estocástico con reinicio cálido (SGD). Para el SGD basado en el nuevo tamaño de paso propuesto, establecemos tasas de convergencia para funciones suaves no convexas con y sin la condición de Polyak-Ojasiewicz (PL). Para evaluar la efectividad del nuevo tamaño de paso, lo implementamos en varios conjuntos de datos, incluidos FashionMNIST, CIFAR10 y CIFAR100. Esta implementación se comparó con ocho métodos existentes distintos. Los resultados experimentales demuestran que el tamaño de paso seno propuesto mejora la precisión de prueba del conjunto de datos CIFAR100 en un %. Esta mejora destaca la eficiencia del nuevo tamaño de paso en comparación con otros ocho métodos de tamaño de paso populares.
Descripción
Este documento propone un nuevo tamaño de paso seno para el descenso de gradiente estocástico con reinicio cálido (SGD). Para el SGD basado en el nuevo tamaño de paso propuesto, establecemos tasas de convergencia para funciones suaves no convexas con y sin la condición de Polyak-Ojasiewicz (PL). Para evaluar la efectividad del nuevo tamaño de paso, lo implementamos en varios conjuntos de datos, incluidos FashionMNIST, CIFAR10 y CIFAR100. Esta implementación se comparó con ocho métodos existentes distintos. Los resultados experimentales demuestran que el tamaño de paso seno propuesto mejora la precisión de prueba del conjunto de datos CIFAR100 en un %. Esta mejora destaca la eficiencia del nuevo tamaño de paso en comparación con otros ocho métodos de tamaño de paso populares.