sobre la tasa de convergencia de los métodos quasi-Newton en funciones fuertemente convexas con gradiente de Lipschitz
Autores: Krutikov, Vladimir; Tovbis, Elena; Stanimirovi, Predrag; Kazakovtsev, Lev
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
sobre la tasa de convergencia de los métodos quasi-Newton en funciones fuertemente convexas con gradiente de Lipschitz
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Estudio
Tasa de convergencia
Métodos cuasi-Newton
Extremo
Representación cuadrática estable
Gradiente de Lipschitz
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 32
Citaciones: Sin citaciones
Los principales resultados del estudio sobre la tasa de convergencia de los métodos de minimización cuasi-Newton se obtuvieron bajo la suposición de que el método opera en la región del extremo de la función, donde hay una representación cuadrática estable de la función. Los métodos basados en el modelo cuadrático de la función en el área del extremo muestran ventajas significativas sobre los métodos clásicos de gradiente. Al resolver un problema específico utilizando el método de cuasi-Newton, ocurre un gran número de iteraciones fuera del área del extremo, a menos que haya una aproximación cuadrática estable de la función. En este documento, estudiamos la tasa de convergencia de los métodos tipo cuasi-Newton en funciones fuertemente convexas con un gradiente de Lipschitz, sin utilizar aproximaciones cuadráticas locales de una función basadas en las propiedades de su Hessiana. Demostramos que los métodos cuasi-Newton convergen en funciones fuertemente convexas con un gradiente de Lipschitz con la tasa de una progresión geométrica, mientras que la estimación de la tasa de convergencia mejora con el aumento del número de iteraciones, lo que refleja el hecho de que el efecto de aprendizaje (adaptación) se acumula a medida que el método opera. Otro hecho importante descubierto durante el estudio teórico es la capacidad de los métodos cuasi-Newton para eliminar el fondo que ralentiza la tasa de convergencia. Esta eliminación se logra a través de una cierta transformación lineal que normaliza la elongación de las superficies de nivel de la función en diferentes direcciones. Todos los estudios se llevaron a cabo sin realizar ninguna suposición con respecto a la matriz de segundas derivadas de la función que se está minimizando.
Descripción
Los principales resultados del estudio sobre la tasa de convergencia de los métodos de minimización cuasi-Newton se obtuvieron bajo la suposición de que el método opera en la región del extremo de la función, donde hay una representación cuadrática estable de la función. Los métodos basados en el modelo cuadrático de la función en el área del extremo muestran ventajas significativas sobre los métodos clásicos de gradiente. Al resolver un problema específico utilizando el método de cuasi-Newton, ocurre un gran número de iteraciones fuera del área del extremo, a menos que haya una aproximación cuadrática estable de la función. En este documento, estudiamos la tasa de convergencia de los métodos tipo cuasi-Newton en funciones fuertemente convexas con un gradiente de Lipschitz, sin utilizar aproximaciones cuadráticas locales de una función basadas en las propiedades de su Hessiana. Demostramos que los métodos cuasi-Newton convergen en funciones fuertemente convexas con un gradiente de Lipschitz con la tasa de una progresión geométrica, mientras que la estimación de la tasa de convergencia mejora con el aumento del número de iteraciones, lo que refleja el hecho de que el efecto de aprendizaje (adaptación) se acumula a medida que el método opera. Otro hecho importante descubierto durante el estudio teórico es la capacidad de los métodos cuasi-Newton para eliminar el fondo que ralentiza la tasa de convergencia. Esta eliminación se logra a través de una cierta transformación lineal que normaliza la elongación de las superficies de nivel de la función en diferentes direcciones. Todos los estudios se llevaron a cabo sin realizar ninguna suposición con respecto a la matriz de segundas derivadas de la función que se está minimizando.