Un marco de generalización fuera de la distribución basado en el ajuste de puerta trasera variacional
Autores: Su, Hang; Wang, Wei
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un marco de generalización fuera de la distribución basado en el ajuste de puerta trasera variacional
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Modelos de aprendizaje
Distribución de datos
Fuera de la distribución
Inferencia causal
Inferencia variacional
Estructura de red
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
En aplicaciones prácticas, los modelos de aprendizaje que pueden funcionar bien incluso cuando la distribución de datos es diferente al conjunto de entrenamiento son esenciales y significativos. Tales problemas a menudo se denominan problemas de generalización fuera de distribución (OOD). En este documento, proponemos un método para la generalización OOD basado en inferencia causal. A diferencia de los métodos de generalización OOD predominantes, nuestro enfoque no requiere las etiquetas del entorno asociadas con los datos en el conjunto de entrenamiento. Analizamos las causas de los cambios de distribución en los datos desde una perspectiva de modelado causal y luego proponemos un método de ajuste de puerta trasera basado en inferencia variacional. Finalmente, construimos una estructura de red única para simular el proceso de inferencia variacional. El marco de ajuste de puerta trasera variacional propuesto (VBA) se puede combinar con cualquier red principal convencional. Además de la derivación teórica, realizamos experimentos en diferentes conjuntos de datos para demostrar que nuestro método funciona bien en precisión de predicción y brechas de generalización. Además, al comparar el marco VBA con otros métodos OOD convencionales, mostramos que VBA funciona mejor que los métodos convencionales.
Descripción
En aplicaciones prácticas, los modelos de aprendizaje que pueden funcionar bien incluso cuando la distribución de datos es diferente al conjunto de entrenamiento son esenciales y significativos. Tales problemas a menudo se denominan problemas de generalización fuera de distribución (OOD). En este documento, proponemos un método para la generalización OOD basado en inferencia causal. A diferencia de los métodos de generalización OOD predominantes, nuestro enfoque no requiere las etiquetas del entorno asociadas con los datos en el conjunto de entrenamiento. Analizamos las causas de los cambios de distribución en los datos desde una perspectiva de modelado causal y luego proponemos un método de ajuste de puerta trasera basado en inferencia variacional. Finalmente, construimos una estructura de red única para simular el proceso de inferencia variacional. El marco de ajuste de puerta trasera variacional propuesto (VBA) se puede combinar con cualquier red principal convencional. Además de la derivación teórica, realizamos experimentos en diferentes conjuntos de datos para demostrar que nuestro método funciona bien en precisión de predicción y brechas de generalización. Además, al comparar el marco VBA con otros métodos OOD convencionales, mostramos que VBA funciona mejor que los métodos convencionales.