Análisis de sentimientos multimodal dependiente del contexto basado en un mecanismo de atención complejo
Autores: Deng, Lujuan; Liu, Boyi; Li, Zuhe; Ma, Jiangtao; Li, Hanbing
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Análisis de sentimientos multimodal dependiente del contexto basado en un mecanismo de atención complejo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Entender
Opiniones
Análisis de sentimientos multimodal
Red neuronal
Mecanismo de atención
Rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 46
Citaciones: Sin citaciones
El análisis de sentimientos multimodal tiene como objetivo comprender las actitudes y opiniones de las personas a partir de diferentes formas de datos. Los métodos tradicionales de fusión de modalidad para el análisis de sentimientos multimodal concatenan o multiplican varias modalidades sin utilizar completamente la información de contexto y la correlación entre las modalidades. Para resolver este problema, este artículo proporciona un nuevo modelo basado en un marco de análisis de sentimientos multimodal basado en una red neuronal recurrente con un mecanismo de atención complejo. Primero, después de que los datos en bruto se preprocesan, se obtiene la representación de características numéricas utilizando extracción de características. A continuación, las características numéricas se introducen en la red neuronal recurrente, y los resultados de salida se fusionan multimodalmente utilizando una capa de mecanismo de atención complejo. El objetivo del mecanismo de atención complejo es aprovechar la no linealidad mejorada para capturar de manera más efectiva las correlaciones intermodales, mejorando así el rendimiento del análisis de sentimientos multimodal. Finalmente, los resultados procesados se introducen en la capa de clasificación y se obtiene la salida de sentimiento utilizando la capa de clasificación. Este proceso puede capturar de manera efectiva la información semántica y la relación contextual de la secuencia de entrada y fusionar diferentes piezas de información modal. Nuestro modelo fue probado en los conjuntos de datos CMU-MOSEI, logrando una precisión del 82.04%.
Descripción
El análisis de sentimientos multimodal tiene como objetivo comprender las actitudes y opiniones de las personas a partir de diferentes formas de datos. Los métodos tradicionales de fusión de modalidad para el análisis de sentimientos multimodal concatenan o multiplican varias modalidades sin utilizar completamente la información de contexto y la correlación entre las modalidades. Para resolver este problema, este artículo proporciona un nuevo modelo basado en un marco de análisis de sentimientos multimodal basado en una red neuronal recurrente con un mecanismo de atención complejo. Primero, después de que los datos en bruto se preprocesan, se obtiene la representación de características numéricas utilizando extracción de características. A continuación, las características numéricas se introducen en la red neuronal recurrente, y los resultados de salida se fusionan multimodalmente utilizando una capa de mecanismo de atención complejo. El objetivo del mecanismo de atención complejo es aprovechar la no linealidad mejorada para capturar de manera más efectiva las correlaciones intermodales, mejorando así el rendimiento del análisis de sentimientos multimodal. Finalmente, los resultados procesados se introducen en la capa de clasificación y se obtiene la salida de sentimiento utilizando la capa de clasificación. Este proceso puede capturar de manera efectiva la información semántica y la relación contextual de la secuencia de entrada y fusionar diferentes piezas de información modal. Nuestro modelo fue probado en los conjuntos de datos CMU-MOSEI, logrando una precisión del 82.04%.