logo móvil
Contáctanos

Un nuevo tamaño de paso senoidal para el descenso de gradiente estocástico con reinicio cálido

Autores: Soheil Shamaee, Mahsa; Fathi Hafshejani, Sajad

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Un nuevo tamaño de paso senoidal para el descenso de gradiente estocástico con reinicio cálido


Categoría

Matemáticas

Subcategoría

Análisis matemático

Palabras clave

Propuesto
Tamaño de paso seno
Reinicio cálido
Descenso de gradiente estocástico
Tasas de convergencia
Funciones no convexas

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 40

Citaciones: Sin citaciones


Descripción
Este documento propone un nuevo tamaño de paso seno para el descenso de gradiente estocástico con reinicio cálido (SGD). Para el SGD basado en el nuevo tamaño de paso propuesto, establecemos tasas de convergencia para funciones suaves no convexas con y sin la condición de Polyak-Ojasiewicz (PL). Para evaluar la efectividad del nuevo tamaño de paso, lo implementamos en varios conjuntos de datos, incluidos FashionMNIST, CIFAR10 y CIFAR100. Esta implementación se comparó con ocho métodos existentes distintos. Los resultados experimentales demuestran que el tamaño de paso seno propuesto mejora la precisión de prueba del conjunto de datos CIFAR100 en un %. Esta mejora destaca la eficiencia del nuevo tamaño de paso en comparación con otros ocho métodos de tamaño de paso populares.

Otros recursos que podrían interesarte

Temas Virtualpro