Calibración de incertidumbre híbrida para análisis de sentimientos multimodal
Autores: Pan, Qiuyu; Meng, Zuqiang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Calibración de incertidumbre híbrida para análisis de sentimientos multimodal
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Análisis de sentimientos multimodal
Calibración de incertidumbre
Fusión tardía
Ruido
Precisión
Incertidumbre
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 23
Citaciones: Sin citaciones
En entornos abiertos, el análisis de sentimientos multimodal (MSA) a menudo sufre de datos de baja calidad y puede ser interrumpido por ruido, defectos inherentes y valores atípicos. En algunos casos, los métodos de fusión multimodal poco razonables pueden funcionar peor que los métodos unimodales. Otra dificultad del MSA es habilitar de manera efectiva al modelo para proporcionar predicciones precisas cuando está seguro e indicar una alta incertidumbre cuando su predicción es probablemente inexacta. En este documento, proponemos una fusión tardía consciente de la incertidumbre basada en calibración híbrida de incertidumbre (ULF-HUC). Primero, realizamos una investigación exhaustiva sobre el problema de la distribución de la polaridad del sentimiento en los conjuntos de datos de MSA, estableciendo una base para un método de fusión tardía consciente de la incertidumbre, que facilita la fusión orgánica de modalidades. Luego, proponemos un método de calibración de incertidumbre híbrida basado en aprendizaje profundo evidencial (EDL) que equilibra precisión e incertidumbre, apoyando la reducción de la incertidumbre en cada modalidad del modelo. Finalmente, agregamos dos tipos comunes de ruido para validar la efectividad de nuestro método propuesto. Evaluamos nuestro modelo en tres conjuntos de datos de MSA disponibles públicamente (MVSA-Single, MVSA-Multiple y MVSA-Single-Small). Nuestro método supera a los enfoques de vanguardia en términos de precisión, puntuación F1 ponderada y métricas de error de calibración de incertidumbre esperada (UCE), demostrando la efectividad del método propuesto.
Descripción
En entornos abiertos, el análisis de sentimientos multimodal (MSA) a menudo sufre de datos de baja calidad y puede ser interrumpido por ruido, defectos inherentes y valores atípicos. En algunos casos, los métodos de fusión multimodal poco razonables pueden funcionar peor que los métodos unimodales. Otra dificultad del MSA es habilitar de manera efectiva al modelo para proporcionar predicciones precisas cuando está seguro e indicar una alta incertidumbre cuando su predicción es probablemente inexacta. En este documento, proponemos una fusión tardía consciente de la incertidumbre basada en calibración híbrida de incertidumbre (ULF-HUC). Primero, realizamos una investigación exhaustiva sobre el problema de la distribución de la polaridad del sentimiento en los conjuntos de datos de MSA, estableciendo una base para un método de fusión tardía consciente de la incertidumbre, que facilita la fusión orgánica de modalidades. Luego, proponemos un método de calibración de incertidumbre híbrida basado en aprendizaje profundo evidencial (EDL) que equilibra precisión e incertidumbre, apoyando la reducción de la incertidumbre en cada modalidad del modelo. Finalmente, agregamos dos tipos comunes de ruido para validar la efectividad de nuestro método propuesto. Evaluamos nuestro modelo en tres conjuntos de datos de MSA disponibles públicamente (MVSA-Single, MVSA-Multiple y MVSA-Single-Small). Nuestro método supera a los enfoques de vanguardia en términos de precisión, puntuación F1 ponderada y métricas de error de calibración de incertidumbre esperada (UCE), demostrando la efectividad del método propuesto.