El aprendizaje automático en métodos cuasi-Newton
Autores: Krutikov, Vladimir; Tovbis, Elena; Stanimirovi, Predrag; Kazakovtsev, Lev; Karabaevi, Darjan
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
El aprendizaje automático en métodos cuasi-Newton
Categoría
Matemáticas
Subcategoría
Análisis matemático
Palabras clave
Corrección
Matrices métricas
Métodos quasi-newton
Teoría del aprendizaje automático
Algoritmos de gradiente
Ortogonalidad
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 32
Citaciones: Sin citaciones
En este artículo, consideramos la corrección de matrices métricas en métodos quasi-Newton (QNM) desde la perspectiva de la teoría del aprendizaje automático. Basándonos en información de entrenamiento para estimar la matriz de segundas derivadas de una función, formulamos una funcionalidad de calidad y la minimizamos utilizando algoritmos de aprendizaje automático de gradiente. Demostramos que este enfoque nos lleva a las conocidas formas de actualización de matrices métricas utilizadas en QNM. El algoritmo de aprendizaje para encontrar matrices métricas realiza la minimización a lo largo de un sistema de direcciones, cuya ortogonalidad determina la tasa de convergencia del proceso de aprendizaje. El grado de ortogonalidad de los vectores de aprendizaje puede aumentarse tanto eligiendo un QNM como utilizando métodos adicionales de ortogonalización. Se ha demostrado teóricamente que el grado de ortogonalidad de los vectores de aprendizaje en el método Broyden-Fletcher-Goldfarb-Shanno (BFGS) es mayor que en el método Davidon-Fletcher-Powell (DFP), lo que determina la ventaja del método BFGS. En nuestro artículo, discutimos algunas técnicas de ortogonalización. Una de ellas es incluir iteraciones con ortogonalización o un descenso unidimensional exacto. Como resultado, teóricamente es posible detectar el efecto acumulativo de reducir el espacio de optimización en funciones cuadráticas. Otra forma de aumentar el grado de ortogonalidad de los vectores de aprendizaje en las etapas iniciales del QNM es una elección especial de matrices métricas iniciales. Nuestros experimentos computacionales en problemas con un alto grado de condicionalidad han confirmado las suposiciones teóricas indicadas.
Descripción
En este artículo, consideramos la corrección de matrices métricas en métodos quasi-Newton (QNM) desde la perspectiva de la teoría del aprendizaje automático. Basándonos en información de entrenamiento para estimar la matriz de segundas derivadas de una función, formulamos una funcionalidad de calidad y la minimizamos utilizando algoritmos de aprendizaje automático de gradiente. Demostramos que este enfoque nos lleva a las conocidas formas de actualización de matrices métricas utilizadas en QNM. El algoritmo de aprendizaje para encontrar matrices métricas realiza la minimización a lo largo de un sistema de direcciones, cuya ortogonalidad determina la tasa de convergencia del proceso de aprendizaje. El grado de ortogonalidad de los vectores de aprendizaje puede aumentarse tanto eligiendo un QNM como utilizando métodos adicionales de ortogonalización. Se ha demostrado teóricamente que el grado de ortogonalidad de los vectores de aprendizaje en el método Broyden-Fletcher-Goldfarb-Shanno (BFGS) es mayor que en el método Davidon-Fletcher-Powell (DFP), lo que determina la ventaja del método BFGS. En nuestro artículo, discutimos algunas técnicas de ortogonalización. Una de ellas es incluir iteraciones con ortogonalización o un descenso unidimensional exacto. Como resultado, teóricamente es posible detectar el efecto acumulativo de reducir el espacio de optimización en funciones cuadráticas. Otra forma de aumentar el grado de ortogonalidad de los vectores de aprendizaje en las etapas iniciales del QNM es una elección especial de matrices métricas iniciales. Nuestros experimentos computacionales en problemas con un alto grado de condicionalidad han confirmado las suposiciones teóricas indicadas.