logo móvil
Contáctanos

El aprendizaje automático en métodos cuasi-Newton

Autores: Krutikov, Vladimir; Tovbis, Elena; Stanimirovi, Predrag; Kazakovtsev, Lev; Karabaevi, Darjan

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

El aprendizaje automático en métodos cuasi-Newton


Categoría

Matemáticas

Subcategoría

Análisis matemático

Palabras clave

Corrección
Matrices métricas
Métodos quasi-newton
Teoría del aprendizaje automático
Algoritmos de gradiente
Ortogonalidad

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 32

Citaciones: Sin citaciones


Descripción
En este artículo, consideramos la corrección de matrices métricas en métodos quasi-Newton (QNM) desde la perspectiva de la teoría del aprendizaje automático. Basándonos en información de entrenamiento para estimar la matriz de segundas derivadas de una función, formulamos una funcionalidad de calidad y la minimizamos utilizando algoritmos de aprendizaje automático de gradiente. Demostramos que este enfoque nos lleva a las conocidas formas de actualización de matrices métricas utilizadas en QNM. El algoritmo de aprendizaje para encontrar matrices métricas realiza la minimización a lo largo de un sistema de direcciones, cuya ortogonalidad determina la tasa de convergencia del proceso de aprendizaje. El grado de ortogonalidad de los vectores de aprendizaje puede aumentarse tanto eligiendo un QNM como utilizando métodos adicionales de ortogonalización. Se ha demostrado teóricamente que el grado de ortogonalidad de los vectores de aprendizaje en el método Broyden-Fletcher-Goldfarb-Shanno (BFGS) es mayor que en el método Davidon-Fletcher-Powell (DFP), lo que determina la ventaja del método BFGS. En nuestro artículo, discutimos algunas técnicas de ortogonalización. Una de ellas es incluir iteraciones con ortogonalización o un descenso unidimensional exacto. Como resultado, teóricamente es posible detectar el efecto acumulativo de reducir el espacio de optimización en funciones cuadráticas. Otra forma de aumentar el grado de ortogonalidad de los vectores de aprendizaje en las etapas iniciales del QNM es una elección especial de matrices métricas iniciales. Nuestros experimentos computacionales en problemas con un alto grado de condicionalidad han confirmado las suposiciones teóricas indicadas.

Otros recursos que podrían interesarte

Temas Virtualpro