Propiedad newtoniana del método de subgradiente con optimización de corrección de parámetro de matriz métrica
Autores: Tovbis, Elena; Krutikov, Vladimir; Kazakovtsev, Lev
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Propiedad newtoniana del método de subgradiente con optimización de corrección de parámetro de matriz métrica
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Tasa de convergencia
Método de subgradiente
Matrices métricas
Segundas derivadas
Optimización
Funciones suaves
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 20
Citaciones: Sin citaciones
El trabajo demuestra que bajo condiciones de inestabilidad de las segundas derivadas de la función en la región de minimización, la estimación de la tasa de convergencia del método de Newton está determinada por los parámetros de la parte irreducible del grado de condicionalidad del problema. Estos parámetros representan el grado de diferencia entre los autovalores de las matrices de las segundas derivadas en el sistema de coordenadas, donde esta diferencia es mínima, y la estimación resultante de la tasa de convergencia actúa posteriormente como un estándar. El documento estudia la tasa de convergencia del método de subgradiente de relajación (RSM) con optimización de los parámetros de corrección de rango dos de matrices métricas en funciones suavemente fuertemente convexas con un gradiente de Lipschitz sin supuestos sobre la existencia de segundas derivadas de la función. El RSM considerado es similar en estructura a los métodos de minimización cuasi-Newton. A diferencia de estos últimos, su matriz métrica no es una aproximación de la matriz inversa de segundas derivadas, sino que se ajusta de tal manera que permite encontrar la dirección de descenso que lleva el método más allá de un cierto vecindario del mínimo actual como resultado de una minimización unidimensional a lo largo de él. Esto significa que la matriz métrica permite convertir el gradiente actual en una dirección que es consistente con el conjunto de gradientes de algún vecindario del mínimo actual. Bajo amplias suposiciones sobre los parámetros de transformaciones de matrices métricas, se obtiene una estimación de la tasa de convergencia del RSM estudiado y una estimación de su capacidad para excluir el fondo lineal removible. Las estimaciones obtenidas resultan ser cualitativamente similares a las estimaciones para el método de Newton. En este caso, no se requiere la suposición de la existencia de segundas derivadas de la función. Se llevó a cabo un experimento computacional en el que se compararon el método cuasi-Newton BFGS y el método de subgradiente en estudio en varios tipos de funciones suaves. Los resultados de las pruebas indican la efectividad del método de subgradiente en la minimización de funciones suaves con un alto grado de condicionalidad del problema y su capacidad para eliminar el fondo lineal que empeora la convergencia.
Descripción
El trabajo demuestra que bajo condiciones de inestabilidad de las segundas derivadas de la función en la región de minimización, la estimación de la tasa de convergencia del método de Newton está determinada por los parámetros de la parte irreducible del grado de condicionalidad del problema. Estos parámetros representan el grado de diferencia entre los autovalores de las matrices de las segundas derivadas en el sistema de coordenadas, donde esta diferencia es mínima, y la estimación resultante de la tasa de convergencia actúa posteriormente como un estándar. El documento estudia la tasa de convergencia del método de subgradiente de relajación (RSM) con optimización de los parámetros de corrección de rango dos de matrices métricas en funciones suavemente fuertemente convexas con un gradiente de Lipschitz sin supuestos sobre la existencia de segundas derivadas de la función. El RSM considerado es similar en estructura a los métodos de minimización cuasi-Newton. A diferencia de estos últimos, su matriz métrica no es una aproximación de la matriz inversa de segundas derivadas, sino que se ajusta de tal manera que permite encontrar la dirección de descenso que lleva el método más allá de un cierto vecindario del mínimo actual como resultado de una minimización unidimensional a lo largo de él. Esto significa que la matriz métrica permite convertir el gradiente actual en una dirección que es consistente con el conjunto de gradientes de algún vecindario del mínimo actual. Bajo amplias suposiciones sobre los parámetros de transformaciones de matrices métricas, se obtiene una estimación de la tasa de convergencia del RSM estudiado y una estimación de su capacidad para excluir el fondo lineal removible. Las estimaciones obtenidas resultan ser cualitativamente similares a las estimaciones para el método de Newton. En este caso, no se requiere la suposición de la existencia de segundas derivadas de la función. Se llevó a cabo un experimento computacional en el que se compararon el método cuasi-Newton BFGS y el método de subgradiente en estudio en varios tipos de funciones suaves. Los resultados de las pruebas indican la efectividad del método de subgradiente en la minimización de funciones suaves con un alto grado de condicionalidad del problema y su capacidad para eliminar el fondo lineal que empeora la convergencia.