Máquina de Aprendizaje Extremo Gemelo Robusta basada en la Función de Pérdida de Norma Cerrada Suave Truncada
Autores: Xu, Zhendong; Wei, Bo; Yu, Guolin; Ma, Jun
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Máquina de Aprendizaje Extremo Gemelo Robusta basada en la Función de Pérdida de Norma Cerrada Suave Truncada
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Propuesto
Atípicos
Funciones de pérdida
Pérdida limitada
Robustez
SVRG
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 44
Citaciones: Sin citaciones
Actualmente, la mayoría de los investigadores proponen algoritmos robustos desde diferentes perspectivas para superar el impacto de los valores atípicos en un modelo, como la introducción de funciones de pérdida. Sin embargo, algunas funciones de pérdida a menudo no logran obtener resultados satisfactorios cuando los valores atípicos son grandes. Por lo tanto, la función de pérdida limitada se ha convertido en una mejor opción para los investigadores. La mayoría de los investigadores establecen directamente un límite superior en la función de pérdida, lo que reduce el impacto de los valores atípicos grandes, pero también introduce regiones no diferenciables. Para evitar esta deficiencia, proponemos una máquina de aprendizaje extrema gemela robusta basada en una función de pérdida normal suavizada con límite (SCTELM). Utiliza una función de pérdida de norma suave con límite. Esto no solo supera las deficiencias de la función de pérdida con límite duro, sino que también mejora la robustez del modelo. Simultáneamente, para mejorar la eficiencia de aprendizaje del modelo, se utiliza el algoritmo de optimización de gradiente reducido por varianza estocástica (SVRG). Los resultados experimentales en varios conjuntos de datos muestran que el algoritmo propuesto puede competir con los algoritmos de última generación en cuanto a robustez.
Descripción
Actualmente, la mayoría de los investigadores proponen algoritmos robustos desde diferentes perspectivas para superar el impacto de los valores atípicos en un modelo, como la introducción de funciones de pérdida. Sin embargo, algunas funciones de pérdida a menudo no logran obtener resultados satisfactorios cuando los valores atípicos son grandes. Por lo tanto, la función de pérdida limitada se ha convertido en una mejor opción para los investigadores. La mayoría de los investigadores establecen directamente un límite superior en la función de pérdida, lo que reduce el impacto de los valores atípicos grandes, pero también introduce regiones no diferenciables. Para evitar esta deficiencia, proponemos una máquina de aprendizaje extrema gemela robusta basada en una función de pérdida normal suavizada con límite (SCTELM). Utiliza una función de pérdida de norma suave con límite. Esto no solo supera las deficiencias de la función de pérdida con límite duro, sino que también mejora la robustez del modelo. Simultáneamente, para mejorar la eficiencia de aprendizaje del modelo, se utiliza el algoritmo de optimización de gradiente reducido por varianza estocástica (SVRG). Los resultados experimentales en varios conjuntos de datos muestran que el algoritmo propuesto puede competir con los algoritmos de última generación en cuanto a robustez.