logo móvil
Contáctanos

Un segundo examen de los tamaños de paso trigonométricos y su impacto en el SGD de reinicio cálido para funciones no suaves y no convexas

Autores: Soheil Shamaee, Mahsa; Fathi Hafshejani, Sajad

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico
2025

Un segundo examen de los tamaños de paso trigonométricos y su impacto en el SGD de reinicio cálido para funciones no suaves y no convexas


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Papel
Tamaños de paso trigonométricos
Reinicio cálido
Descenso de gradiente estocástico
Aprendizaje profundo
Optimización

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 33

Citaciones: Sin citaciones


Descripción
Este trabajo presenta un segundo examen de los tamaños de paso trigonométricos y su impacto en el Descenso de Gradiente Estocástico con Reinicio Cálido (SGD), una técnica de optimización esencial en el aprendizaje profundo. A partir del trabajo previo con tamaños de paso basados en coseno, este estudio introduce tres nuevos tamaños de paso trigonométricos destinados a mejorar los métodos de reinicio cálido. Estos tamaños de paso están formulados para abordar los desafíos planteados por funciones objetivo no suaves y no convexas, asegurando que el algoritmo pueda converger de manera efectiva hacia el mínimo global. A través de un riguroso análisis teórico, demostramos que el enfoque propuesto logra una tasa de convergencia para funciones no convexas suaves y extendemos el análisis a escenarios no suaves y no convexas. Evaluaciones experimentales en los conjuntos de datos FashionMNIST, CIFAR10 y CIFAR100 revelan mejoras significativas en la precisión de las pruebas, incluido un aumento notable en CIFAR100 en comparación con las estrategias de reinicio cálido existentes. Estos resultados destacan la efectividad de los tamaños de paso trigonométricos en mejorar el rendimiento de optimización para modelos de aprendizaje profundo.

Otros recursos que podrían interesarte

Temas Virtualpro