logo móvil
Contáctanos

Mgafn-isa: red de fusión de atención de granularidad múltiple para análisis de sentimientos implícitos

Autores: Huo, Yifan; Liu, Ming; Zheng, Junhong; He, Lili

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Mgafn-isa: red de fusión de atención de granularidad múltiple para análisis de sentimientos implícitos


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Progreso significativo
Tareas de análisis de sentimientos
Datos de imagen-texto
Red de Fusión de Atención de Multi-Granularidad
Análisis de Sentimientos Implícitos
Redes neuronales

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 35

Citaciones: Sin citaciones


Descripción
A pesar de que se ha logrado un progreso significativo en tareas de análisis de sentimientos basadas en datos de imagen-texto, los métodos existentes aún tienen limitaciones para capturar correlaciones cruzadas modales e información detallada. Para abordar estos problemas, proponemos una Red de Fusión de Atención de Múltiples Granularidades para Análisis de Sentimientos Implícitos (MGAFN-ISA). MGAFN-ISA aprovecha redes neuronales y mecanismos de atención para reducir de manera efectiva la interferencia de ruido entre diferentes modalidades y capturar características visuales y textuales distintas y detalladas. El modelo incluye dos módulos clave de extracción de características: un extractor de características visuales basado en fusión de atención a múltiples escalas y un extractor de características textuales basado en mecanismos de atención jerárquica, cada uno diseñado para extraer representaciones visuales y textuales detalladas y discriminativas. Además, introducimos un motor traductor de imágenes para producir descripciones de imágenes precisas y detalladas, reduciendo aún más la brecha semántica entre las modalidades visual y textual. También se incorpora un mecanismo de atención cruzada bidireccional para utilizar correlaciones entre regiones locales detalladas a través de modalidades, extrayendo información complementaria de datos visuales y textuales heterogéneos. Finalmente, diseñamos un módulo de clasificación multimodal adaptativo que ajusta dinámicamente la contribución de cada modalidad a través de un mecanismo de compuerta adaptativo. Los extensos resultados experimentales demuestran que MGAFN-ISA logra una mejora significativa en el rendimiento sobre nueve métodos de vanguardia en múltiples conjuntos de datos públicos, validando la efectividad y el avance de nuestro enfoque propuesto.

Otros recursos que podrían interesarte

Temas Virtualpro