Una perspectiva consciente de la causalidad sobre la generalización de dominio a través de la intervención de dominio
Autores: Shao, Youjia; Wang, Shaohui; Zhao, Wencang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Una perspectiva consciente de la causalidad sobre la generalización de dominio a través de la intervención de dominio
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelos
Generalización de OOD
Aprendizaje profundo
Generalización de dominio
Inferencia causal
Representaciones contrafactuales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
La mayoría de los modelos estadísticos convencionales tendrán un bajo rendimiento en la generalización Fuera de Distribución (OOD). Esto se debe a que estos modelos tienden a aprender la correlación espuria entre los datos y colapsarán cuando exista un cambio de dominio. Si queremos que la inteligencia artificial (IA) avance en la vida real, el enfoque actual debe cambiar al problema OOD de los modelos de aprendizaje profundo para explorar la capacidad de generalización bajo entornos desconocidos. Se propone la generalización de dominio (DG) centrada en la generalización OOD, que es capaz de transferir el conocimiento extraído de múltiples dominios fuente al dominio objetivo no visto. Estamos inspirados por el pensamiento intuitivo sobre la inteligencia humana que se basa en la causalidad. A diferencia de depender de simples correlaciones de probabilidad, aplicamos una nueva perspectiva causal a DG, que puede mejorar la capacidad de generalización OOD del modelo entrenado al explotar el mecanismo causal invariante. En primer lugar, construimos el grafo causal inclusivo para la mayoría de las tareas de DG a través de un análisis causal paso a paso basado en el proceso de generación de datos en el entorno natural e introducimos el Modelo Causal Estructural (SCM) razonable. En segundo lugar, basándonos en la inferencia contrafactual, se propone el aprendizaje de representación semántica causal con intervención de dominio (CSRDN) para entrenar un modelo robusto. En este sentido, generamos representaciones contrafácticas para diferentes intervenciones de dominio, que pueden ayudar al modelo a aprender semántica causal y desarrollar capacidad de generalización. Al mismo tiempo, buscamos la solución óptima de Pareto en el proceso de optimización basado en la función de pérdida para obtener un modelo de entrenamiento más avanzado. Los extensos resultados experimentales de Rotated MNIST y PACS, así como los conjuntos de datos VLCS, verifican la efectividad del CSRDN propuesto. El método propuesto puede integrar la inferencia causal en la generalización de dominio al mejorar la interpretabilidad y aplicabilidad, y brinda un impulso a los desafiantes problemas de generalización OOD.
Descripción
La mayoría de los modelos estadísticos convencionales tendrán un bajo rendimiento en la generalización Fuera de Distribución (OOD). Esto se debe a que estos modelos tienden a aprender la correlación espuria entre los datos y colapsarán cuando exista un cambio de dominio. Si queremos que la inteligencia artificial (IA) avance en la vida real, el enfoque actual debe cambiar al problema OOD de los modelos de aprendizaje profundo para explorar la capacidad de generalización bajo entornos desconocidos. Se propone la generalización de dominio (DG) centrada en la generalización OOD, que es capaz de transferir el conocimiento extraído de múltiples dominios fuente al dominio objetivo no visto. Estamos inspirados por el pensamiento intuitivo sobre la inteligencia humana que se basa en la causalidad. A diferencia de depender de simples correlaciones de probabilidad, aplicamos una nueva perspectiva causal a DG, que puede mejorar la capacidad de generalización OOD del modelo entrenado al explotar el mecanismo causal invariante. En primer lugar, construimos el grafo causal inclusivo para la mayoría de las tareas de DG a través de un análisis causal paso a paso basado en el proceso de generación de datos en el entorno natural e introducimos el Modelo Causal Estructural (SCM) razonable. En segundo lugar, basándonos en la inferencia contrafactual, se propone el aprendizaje de representación semántica causal con intervención de dominio (CSRDN) para entrenar un modelo robusto. En este sentido, generamos representaciones contrafácticas para diferentes intervenciones de dominio, que pueden ayudar al modelo a aprender semántica causal y desarrollar capacidad de generalización. Al mismo tiempo, buscamos la solución óptima de Pareto en el proceso de optimización basado en la función de pérdida para obtener un modelo de entrenamiento más avanzado. Los extensos resultados experimentales de Rotated MNIST y PACS, así como los conjuntos de datos VLCS, verifican la efectividad del CSRDN propuesto. El método propuesto puede integrar la inferencia causal en la generalización de dominio al mejorar la interpretabilidad y aplicabilidad, y brinda un impulso a los desafiantes problemas de generalización OOD.