Mgafn-isa: red de fusión de atención de granularidad múltiple para análisis de sentimientos implícitos
Autores: Huo, Yifan; Liu, Ming; Zheng, Junhong; He, Lili
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Mgafn-isa: red de fusión de atención de granularidad múltiple para análisis de sentimientos implícitos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Progreso significativo
Tareas de análisis de sentimientos
Datos de imagen-texto
Red de Fusión de Atención de Multi-Granularidad
Análisis de Sentimientos Implícitos
Redes neuronales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
A pesar de que se ha logrado un progreso significativo en tareas de análisis de sentimientos basadas en datos de imagen-texto, los métodos existentes aún tienen limitaciones para capturar correlaciones cruzadas modales e información detallada. Para abordar estos problemas, proponemos una Red de Fusión de Atención de Múltiples Granularidades para Análisis de Sentimientos Implícitos (MGAFN-ISA). MGAFN-ISA aprovecha redes neuronales y mecanismos de atención para reducir de manera efectiva la interferencia de ruido entre diferentes modalidades y capturar características visuales y textuales distintas y detalladas. El modelo incluye dos módulos clave de extracción de características: un extractor de características visuales basado en fusión de atención a múltiples escalas y un extractor de características textuales basado en mecanismos de atención jerárquica, cada uno diseñado para extraer representaciones visuales y textuales detalladas y discriminativas. Además, introducimos un motor traductor de imágenes para producir descripciones de imágenes precisas y detalladas, reduciendo aún más la brecha semántica entre las modalidades visual y textual. También se incorpora un mecanismo de atención cruzada bidireccional para utilizar correlaciones entre regiones locales detalladas a través de modalidades, extrayendo información complementaria de datos visuales y textuales heterogéneos. Finalmente, diseñamos un módulo de clasificación multimodal adaptativo que ajusta dinámicamente la contribución de cada modalidad a través de un mecanismo de compuerta adaptativo. Los extensos resultados experimentales demuestran que MGAFN-ISA logra una mejora significativa en el rendimiento sobre nueve métodos de vanguardia en múltiples conjuntos de datos públicos, validando la efectividad y el avance de nuestro enfoque propuesto.
Descripción
A pesar de que se ha logrado un progreso significativo en tareas de análisis de sentimientos basadas en datos de imagen-texto, los métodos existentes aún tienen limitaciones para capturar correlaciones cruzadas modales e información detallada. Para abordar estos problemas, proponemos una Red de Fusión de Atención de Múltiples Granularidades para Análisis de Sentimientos Implícitos (MGAFN-ISA). MGAFN-ISA aprovecha redes neuronales y mecanismos de atención para reducir de manera efectiva la interferencia de ruido entre diferentes modalidades y capturar características visuales y textuales distintas y detalladas. El modelo incluye dos módulos clave de extracción de características: un extractor de características visuales basado en fusión de atención a múltiples escalas y un extractor de características textuales basado en mecanismos de atención jerárquica, cada uno diseñado para extraer representaciones visuales y textuales detalladas y discriminativas. Además, introducimos un motor traductor de imágenes para producir descripciones de imágenes precisas y detalladas, reduciendo aún más la brecha semántica entre las modalidades visual y textual. También se incorpora un mecanismo de atención cruzada bidireccional para utilizar correlaciones entre regiones locales detalladas a través de modalidades, extrayendo información complementaria de datos visuales y textuales heterogéneos. Finalmente, diseñamos un módulo de clasificación multimodal adaptativo que ajusta dinámicamente la contribución de cada modalidad a través de un mecanismo de compuerta adaptativo. Los extensos resultados experimentales demuestran que MGAFN-ISA logra una mejora significativa en el rendimiento sobre nueve métodos de vanguardia en múltiples conjuntos de datos públicos, validando la efectividad y el avance de nuestro enfoque propuesto.