Método de gradiente con adaptación de paso
Autores: Krutikov, Vladimir; Tovbis, Elena; Gutova, Svetlana; Rozhnov, Ivan; Kazakovtsev, Lev
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Método de gradiente con adaptación de paso
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Construcción
Método de gradiente
Algoritmos de ajuste de paso
Descenso más pronunciado
Tasa de convergencia
Optimización
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
El documento resuelve el problema de construir algoritmos de ajuste de paso para un método de gradiente basado en el principio del descenso más pronunciado. La expansión del principio de ajuste de paso, su formalización y parametrización llevaron a los investigadores a métodos de tipo gradiente con relajación incompleta o sobre-relajación. Tales métodos solo requieren el cálculo del gradiente de la función en la iteración. La optimización de los parámetros de los algoritmos de adaptación de paso nos permite obtener métodos que superan significativamente al método del descenso más pronunciado en cuanto a la tasa de convergencia. En este documento, presentamos un algoritmo de ajuste de paso universal que no requiere la selección de parámetros óptimos. El algoritmo se basa en la ortogonalidad de los gradientes sucesivos y reemplaza la relajación completa con algún grado de relajación incompleta o sobre-relajación. Su tasa de convergencia corresponde a algoritmos con optimización de los parámetros del algoritmo de adaptación de paso. En nuestros experimentos, en promedio, el algoritmo propuesto supera al método del descenso más pronunciado en 2.7 veces en el número de iteraciones. La ventaja de los métodos propuestos es su operabilidad bajo condiciones de interferencia. Nuestro documento presenta ejemplos de resolución de problemas de prueba en los que los valores de interferencia son vectores uniformemente distribuidos en una bola con un radio 8 veces mayor que la norma del gradiente.
Descripción
El documento resuelve el problema de construir algoritmos de ajuste de paso para un método de gradiente basado en el principio del descenso más pronunciado. La expansión del principio de ajuste de paso, su formalización y parametrización llevaron a los investigadores a métodos de tipo gradiente con relajación incompleta o sobre-relajación. Tales métodos solo requieren el cálculo del gradiente de la función en la iteración. La optimización de los parámetros de los algoritmos de adaptación de paso nos permite obtener métodos que superan significativamente al método del descenso más pronunciado en cuanto a la tasa de convergencia. En este documento, presentamos un algoritmo de ajuste de paso universal que no requiere la selección de parámetros óptimos. El algoritmo se basa en la ortogonalidad de los gradientes sucesivos y reemplaza la relajación completa con algún grado de relajación incompleta o sobre-relajación. Su tasa de convergencia corresponde a algoritmos con optimización de los parámetros del algoritmo de adaptación de paso. En nuestros experimentos, en promedio, el algoritmo propuesto supera al método del descenso más pronunciado en 2.7 veces en el número de iteraciones. La ventaja de los métodos propuestos es su operabilidad bajo condiciones de interferencia. Nuestro documento presenta ejemplos de resolución de problemas de prueba en los que los valores de interferencia son vectores uniformemente distribuidos en una bola con un radio 8 veces mayor que la norma del gradiente.