Reconocimiento de emociones a partir de EEG multimodal basado en la red de convolución gráfica recurrente con atención
Autores: Chen, Jingxia; Liu, Yang; Xue, Wen; Hu, Kailei; Lin, Wentao
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Reconocimiento de emociones a partir de EEG multimodal basado en la red de convolución gráfica recurrente con atención
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Reconocimiento de emociones
Método multimodal
EEG
Red neuronal convolucional recurrente
Extracción de características profundas
Clasificación de sentimientos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El reconocimiento de emociones basado en EEG se ha convertido en una parte importante de la interacción humano-computadora. Para resolver el problema de que las características unimodales no son lo suficientemente completas, en este artículo proponemos un método de reconocimiento de emociones multimodal basado en una red neuronal de convolución gráfica recurrente con atención, que se representa como Mul-AT-RGCN. El método explora la relación entre múltiples canales de características multimodales de EEG y señales fisiológicas periféricas, convierte características de secuencia unidimensional en características de mapa bidimensional para modelado, y luego extrae características espaciotemporales y de frecuencia-espacio de las características multimodales obtenidas. Estos dos tipos de características se introducen en una red neuronal de convolución gráfica recurrente con un módulo de atención de bloque de convolución para la extracción profunda de características semánticas y clasificación de sentimientos. Para reducir las diferencias entre sujetos, también se introduce un módulo de adaptación de dominio en la verificación experimental entre sujetos. Este método propuesto realiza el aprendizaje de características en tres dimensiones: tiempo, espacio y frecuencia, excavando la relación complementaria de diferentes datos modales, de modo que las características profundas relacionadas con las emociones aprendidas sean más discriminativas. El método propuesto se probó en el DEAP, un conjunto de datos multimodal, y las precisiones de clasificación promedio de valencia y excitación dentro de los sujetos alcanzaron el 93.19% y el 91.82%, respectivamente, lo que representa una mejora del 5.1% y del 4.69%, respectivamente, en comparación con la única modalidad de EEG y también superó a los métodos más actuales. El experimento entre sujetos también obtuvo mejores precisiones de clasificación, lo que verifica la efectividad del método propuesto en el reconocimiento de emociones multimodal basado en EEG.
Descripción
El reconocimiento de emociones basado en EEG se ha convertido en una parte importante de la interacción humano-computadora. Para resolver el problema de que las características unimodales no son lo suficientemente completas, en este artículo proponemos un método de reconocimiento de emociones multimodal basado en una red neuronal de convolución gráfica recurrente con atención, que se representa como Mul-AT-RGCN. El método explora la relación entre múltiples canales de características multimodales de EEG y señales fisiológicas periféricas, convierte características de secuencia unidimensional en características de mapa bidimensional para modelado, y luego extrae características espaciotemporales y de frecuencia-espacio de las características multimodales obtenidas. Estos dos tipos de características se introducen en una red neuronal de convolución gráfica recurrente con un módulo de atención de bloque de convolución para la extracción profunda de características semánticas y clasificación de sentimientos. Para reducir las diferencias entre sujetos, también se introduce un módulo de adaptación de dominio en la verificación experimental entre sujetos. Este método propuesto realiza el aprendizaje de características en tres dimensiones: tiempo, espacio y frecuencia, excavando la relación complementaria de diferentes datos modales, de modo que las características profundas relacionadas con las emociones aprendidas sean más discriminativas. El método propuesto se probó en el DEAP, un conjunto de datos multimodal, y las precisiones de clasificación promedio de valencia y excitación dentro de los sujetos alcanzaron el 93.19% y el 91.82%, respectivamente, lo que representa una mejora del 5.1% y del 4.69%, respectivamente, en comparación con la única modalidad de EEG y también superó a los métodos más actuales. El experimento entre sujetos también obtuvo mejores precisiones de clasificación, lo que verifica la efectividad del método propuesto en el reconocimiento de emociones multimodal basado en EEG.