Red de Extracción de Características con Mecanismo de Atención para la Mejora de Datos y Fusión de Recombinaicón para el Análisis de Sentimientos Multimodal
Autores: Qi, Qingfu; Lin, Liyuan; Zhang, Rui
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Red de Extracción de Características con Mecanismo de Atención para la Mejora de Datos y Fusión de Recombinaicón para el Análisis de Sentimientos Multimodal
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Análisis de sentimientos
Reconocimiento de emociones
Señales multimodales
Modelo de fusión
Método de cascada de vectores de características
Conjunto de datos multimodal
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El análisis de sentimientos multimodal y el reconocimiento de emociones representan una dirección de investigación importante en el procesamiento del lenguaje natural (NLP). Con el rápido desarrollo de los medios en línea, las personas a menudo expresan sus emociones sobre un tema en forma de video, y las señales que transmite son multimodales, incluyendo lenguaje, visual y audio. Por lo tanto, el método tradicional de análisis de sentimientos unimodal ya no es aplicable, lo que requiere el establecimiento de un modelo de fusión de información multimodal para obtener una comprensión del sentimiento. En estudios anteriores, los académicos utilizaron el método de cascada de vectores de características al fusionar datos multimodales en cada paso de tiempo en la capa intermedia. Este método coloca cada información modal en la misma posición y no distingue entre información modal fuerte y débil entre múltiples modalidades. Al mismo tiempo, este método no presta atención a las características de incrustación de señales multimodales a través de la dimensión temporal. En respuesta a los problemas anteriores, este artículo propone un nuevo método y modelo para procesar señales multimodales, que tiene en cuenta las características de retraso e histéresis de las señales multimodales a través de la dimensión temporal. El propósito es obtener una representación de análisis de emociones de características de fusión multimodal. Evaluamos nuestro método en el conjunto de datos de referencia de análisis de sentimientos multimodal CMU Multimodal Opinion Sentiment and Emotion Intensity Corpus (CMU-MOSEI). Comparamos nuestro método propuesto con el modelo de última generación y mostramos excelentes resultados.
Descripción
El análisis de sentimientos multimodal y el reconocimiento de emociones representan una dirección de investigación importante en el procesamiento del lenguaje natural (NLP). Con el rápido desarrollo de los medios en línea, las personas a menudo expresan sus emociones sobre un tema en forma de video, y las señales que transmite son multimodales, incluyendo lenguaje, visual y audio. Por lo tanto, el método tradicional de análisis de sentimientos unimodal ya no es aplicable, lo que requiere el establecimiento de un modelo de fusión de información multimodal para obtener una comprensión del sentimiento. En estudios anteriores, los académicos utilizaron el método de cascada de vectores de características al fusionar datos multimodales en cada paso de tiempo en la capa intermedia. Este método coloca cada información modal en la misma posición y no distingue entre información modal fuerte y débil entre múltiples modalidades. Al mismo tiempo, este método no presta atención a las características de incrustación de señales multimodales a través de la dimensión temporal. En respuesta a los problemas anteriores, este artículo propone un nuevo método y modelo para procesar señales multimodales, que tiene en cuenta las características de retraso e histéresis de las señales multimodales a través de la dimensión temporal. El propósito es obtener una representación de análisis de emociones de características de fusión multimodal. Evaluamos nuestro método en el conjunto de datos de referencia de análisis de sentimientos multimodal CMU Multimodal Opinion Sentiment and Emotion Intensity Corpus (CMU-MOSEI). Comparamos nuestro método propuesto con el modelo de última generación y mostramos excelentes resultados.