Tasa de convergencia independiente de la dimensión para Adagrad con momento de Heavy-Ball
Autores: Nam, Kyunghun; Park, Sejun
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Tasa de convergencia independiente de la dimensión para Adagrad con momento de Heavy-Ball
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Tasa de convergencia
Adagrad
Momentum
Optimización no convexa
Independiente de la dimensión
Gradientes estocásticos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
En este estudio, analizamos la tasa de convergencia de Adagrad con momento para problemas de optimización no convexos. Establecemos la primera tasa de convergencia independiente de la dimensión bajo la suposición de -suavidad, que es una generalización de la -suavidad estándar. Mostramos la tasa de convergencia bajo ruido acotado en gradientes estocásticos, donde el límite puede escalar con la brecha de optimalidad actual y la norma del gradiente.
Descripción
En este estudio, analizamos la tasa de convergencia de Adagrad con momento para problemas de optimización no convexos. Establecemos la primera tasa de convergencia independiente de la dimensión bajo la suposición de -suavidad, que es una generalización de la -suavidad estándar. Mostramos la tasa de convergencia bajo ruido acotado en gradientes estocásticos, donde el límite puede escalar con la brecha de optimalidad actual y la norma del gradiente.