Clasificación de emociones basada en CWT de señales de ECG y GSR utilizando varios modelos CNN
Autores: Dessai, Amita; Virani, Hassanali
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Clasificación de emociones basada en CWT de señales de ECG y GSR utilizando varios modelos CNN
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Señales fisiológicas
Clasificación de emociones
Red neuronal convolucional
ECG
GSR
MobileNet
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
Las emociones expresadas por los humanos pueden identificarse a partir de expresiones faciales, señales de voz o señales fisiológicas. Entre ellas, el uso de señales fisiológicas para la clasificación de emociones es un área notablemente emergente de investigación. En el reconocimiento de emociones, el electrocardiograma (ECG) de una persona y las señales de respuesta galvánica de la piel (GSR) no pueden manipularse, a diferencia de las señales faciales y de voz. Además, los dispositivos portátiles como los relojes inteligentes y las pulseras permiten la detección de emociones en el entorno natural de las personas. Durante la pandemia de COVID-19, fue necesario detectar las emociones de las personas para garantizar que se tomaran las acciones apropiadas de acuerdo con la situación prevaleciente y lograr un equilibrio social. Experimentalmente, la duración del período de estímulo emocional y los contextos sociales y no sociales de los participantes influyen en el proceso de clasificación de emociones. Por lo tanto, es necesario explorar la clasificación de emociones cuando los participantes están expuestos al proceso de provocación durante un período más largo y teniendo en cuenta el contexto social. Este trabajo explora la clasificación de emociones utilizando cinco modelos de redes neuronales convolucionales (CNN) preentrenados: MobileNet, NASNetMobile, DenseNet 201, InceptionResnetV2 y EfficientNetB7. Los coeficientes de la transformada wavelet continua (CWT) se detectaron a partir de grabaciones de ECG y GSR de la base de datos AMIGOS con un filtrado adecuado. Se obtuvieron escalogramas de la suma de los coeficientes de frecuencia versus el tiempo y se convirtieron en imágenes. Las emociones se clasificaron utilizando los modelos de CNN preentrenados. La precisión de la clasificación de emociones de valencia y arousal obtenida utilizando datos de ECG y GSR fue, respectivamente, del 91.27% y 91.45% utilizando el clasificador CNN InceptionResnetV2 y del 99.19% y 98.39% utilizando el clasificador CNN MobileNet. Otros estudios no han explorado el uso de escalogramas para representar las características CWT de ECG y GSR para la clasificación de emociones utilizando modelos de aprendizaje profundo. Además, este estudio proporciona una clasificación novedosa de emociones basada en configuraciones individuales y grupales utilizando datos de ECG. Cuando los participantes vieron videos de provocación emocional de larga duración de forma individual y en grupos, la precisión fue alrededor del 99.8%. MobileNet tuvo la mayor precisión y el tiempo de ejecución más corto. Estos métodos de clasificación independientes del sujeto permiten la clasificación de emociones independientemente del comportamiento humano variable.
Descripción
Las emociones expresadas por los humanos pueden identificarse a partir de expresiones faciales, señales de voz o señales fisiológicas. Entre ellas, el uso de señales fisiológicas para la clasificación de emociones es un área notablemente emergente de investigación. En el reconocimiento de emociones, el electrocardiograma (ECG) de una persona y las señales de respuesta galvánica de la piel (GSR) no pueden manipularse, a diferencia de las señales faciales y de voz. Además, los dispositivos portátiles como los relojes inteligentes y las pulseras permiten la detección de emociones en el entorno natural de las personas. Durante la pandemia de COVID-19, fue necesario detectar las emociones de las personas para garantizar que se tomaran las acciones apropiadas de acuerdo con la situación prevaleciente y lograr un equilibrio social. Experimentalmente, la duración del período de estímulo emocional y los contextos sociales y no sociales de los participantes influyen en el proceso de clasificación de emociones. Por lo tanto, es necesario explorar la clasificación de emociones cuando los participantes están expuestos al proceso de provocación durante un período más largo y teniendo en cuenta el contexto social. Este trabajo explora la clasificación de emociones utilizando cinco modelos de redes neuronales convolucionales (CNN) preentrenados: MobileNet, NASNetMobile, DenseNet 201, InceptionResnetV2 y EfficientNetB7. Los coeficientes de la transformada wavelet continua (CWT) se detectaron a partir de grabaciones de ECG y GSR de la base de datos AMIGOS con un filtrado adecuado. Se obtuvieron escalogramas de la suma de los coeficientes de frecuencia versus el tiempo y se convirtieron en imágenes. Las emociones se clasificaron utilizando los modelos de CNN preentrenados. La precisión de la clasificación de emociones de valencia y arousal obtenida utilizando datos de ECG y GSR fue, respectivamente, del 91.27% y 91.45% utilizando el clasificador CNN InceptionResnetV2 y del 99.19% y 98.39% utilizando el clasificador CNN MobileNet. Otros estudios no han explorado el uso de escalogramas para representar las características CWT de ECG y GSR para la clasificación de emociones utilizando modelos de aprendizaje profundo. Además, este estudio proporciona una clasificación novedosa de emociones basada en configuraciones individuales y grupales utilizando datos de ECG. Cuando los participantes vieron videos de provocación emocional de larga duración de forma individual y en grupos, la precisión fue alrededor del 99.8%. MobileNet tuvo la mayor precisión y el tiempo de ejecución más corto. Estos métodos de clasificación independientes del sujeto permiten la clasificación de emociones independientemente del comportamiento humano variable.