Un segundo examen de los tamaños de paso trigonométricos y su impacto en el SGD de reinicio cálido para funciones no suaves y no convexas
Autores: Soheil Shamaee, Mahsa; Fathi Hafshejani, Sajad
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Un segundo examen de los tamaños de paso trigonométricos y su impacto en el SGD de reinicio cálido para funciones no suaves y no convexas
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Papel
Tamaños de paso trigonométricos
Reinicio cálido
Descenso de gradiente estocástico
Aprendizaje profundo
Optimización
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
Este trabajo presenta un segundo examen de los tamaños de paso trigonométricos y su impacto en el Descenso de Gradiente Estocástico con Reinicio Cálido (SGD), una técnica de optimización esencial en el aprendizaje profundo. A partir del trabajo previo con tamaños de paso basados en coseno, este estudio introduce tres nuevos tamaños de paso trigonométricos destinados a mejorar los métodos de reinicio cálido. Estos tamaños de paso están formulados para abordar los desafíos planteados por funciones objetivo no suaves y no convexas, asegurando que el algoritmo pueda converger de manera efectiva hacia el mínimo global. A través de un riguroso análisis teórico, demostramos que el enfoque propuesto logra una tasa de convergencia para funciones no convexas suaves y extendemos el análisis a escenarios no suaves y no convexas. Evaluaciones experimentales en los conjuntos de datos FashionMNIST, CIFAR10 y CIFAR100 revelan mejoras significativas en la precisión de las pruebas, incluido un aumento notable en CIFAR100 en comparación con las estrategias de reinicio cálido existentes. Estos resultados destacan la efectividad de los tamaños de paso trigonométricos en mejorar el rendimiento de optimización para modelos de aprendizaje profundo.
Descripción
Este trabajo presenta un segundo examen de los tamaños de paso trigonométricos y su impacto en el Descenso de Gradiente Estocástico con Reinicio Cálido (SGD), una técnica de optimización esencial en el aprendizaje profundo. A partir del trabajo previo con tamaños de paso basados en coseno, este estudio introduce tres nuevos tamaños de paso trigonométricos destinados a mejorar los métodos de reinicio cálido. Estos tamaños de paso están formulados para abordar los desafíos planteados por funciones objetivo no suaves y no convexas, asegurando que el algoritmo pueda converger de manera efectiva hacia el mínimo global. A través de un riguroso análisis teórico, demostramos que el enfoque propuesto logra una tasa de convergencia para funciones no convexas suaves y extendemos el análisis a escenarios no suaves y no convexas. Evaluaciones experimentales en los conjuntos de datos FashionMNIST, CIFAR10 y CIFAR100 revelan mejoras significativas en la precisión de las pruebas, incluido un aumento notable en CIFAR100 en comparación con las estrategias de reinicio cálido existentes. Estos resultados destacan la efectividad de los tamaños de paso trigonométricos en mejorar el rendimiento de optimización para modelos de aprendizaje profundo.