Un método de multiplicadores de dirección alternativa relajado y adaptable máximamente dividido para máquinas de aprendizaje extremo regularizadas
Autores: Wang, Zhangquan; Huo, Shanshan; Xiong, Xinlong; Wang, Ke; Liu, Banteng
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un método de multiplicadores de dirección alternativa relajado y adaptable máximamente dividido para máquinas de aprendizaje extremo regularizadas
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Significativo
Convergencia
ADMM
Paralelo
Adaptativo
Parámetros
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
Una de las características significativas de las máquinas de aprendizaje extremo (ELMs) es su rápida convergencia. Sin embargo, en el entorno de big data, el ELM basado en la inversa de matriz de Moore-Penrose todavía sufre de cargas de cálculo excesivas. Aprovechando la descomposabilidad del método de los multiplicadores de dirección alternativa (ADMM), un problema de ajuste de modelo convexo puede dividirse en un conjunto de subproblemas que pueden ejecutarse en paralelo. Utilizando una técnica de división máxima y una técnica de relajación, los subproblemas pueden dividirse en múltiples subproblemas univariados. Sobre esta base, proponemos un método de selección de parámetros adaptativos que ajusta automáticamente los parámetros clave del algoritmo durante el entrenamiento. Para confirmar la efectividad de este algoritmo, se realizan experimentos en ocho conjuntos de datos de clasificación. Hemos verificado la efectividad de este algoritmo en términos del número de iteraciones, tiempo de cálculo y ratios de aceleración. Los resultados muestran que el método propuesto en este documento puede mejorar significativamente la velocidad de procesamiento de datos al tiempo que aumenta la paralelización.
Descripción
Una de las características significativas de las máquinas de aprendizaje extremo (ELMs) es su rápida convergencia. Sin embargo, en el entorno de big data, el ELM basado en la inversa de matriz de Moore-Penrose todavía sufre de cargas de cálculo excesivas. Aprovechando la descomposabilidad del método de los multiplicadores de dirección alternativa (ADMM), un problema de ajuste de modelo convexo puede dividirse en un conjunto de subproblemas que pueden ejecutarse en paralelo. Utilizando una técnica de división máxima y una técnica de relajación, los subproblemas pueden dividirse en múltiples subproblemas univariados. Sobre esta base, proponemos un método de selección de parámetros adaptativos que ajusta automáticamente los parámetros clave del algoritmo durante el entrenamiento. Para confirmar la efectividad de este algoritmo, se realizan experimentos en ocho conjuntos de datos de clasificación. Hemos verificado la efectividad de este algoritmo en términos del número de iteraciones, tiempo de cálculo y ratios de aceleración. Los resultados muestran que el método propuesto en este documento puede mejorar significativamente la velocidad de procesamiento de datos al tiempo que aumenta la paralelización.