Método de reconocimiento de microexpresiones basado en la fusión de características ADP-DSTN y el módulo de atención de bloque convolucional
Autores: Song, Junfang; Lei, Shanzhong; Wu, Wenzhe
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Método de reconocimiento de microexpresiones basado en la fusión de características ADP-DSTN y el módulo de atención de bloque convolucional
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Microexpresiones
Movimientos faciales
Reconocimiento de emociones
Algoritmo de detección
Red neuronal
Resultados experimentales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
Las microexpresiones son sutiles movimientos faciales que ocurren en un período de tiempo extremadamente breve, a menudo revelando emociones reprimidas. Estas expresiones tienen una importancia significativa en varios campos, incluyendo la vigilancia de seguridad y la interacción humano-computadora. Sin embargo, la precisión del reconocimiento de microexpresiones está severamente limitada por las características inherentes de estas expresiones. Para abordar el problema de la baja precisión de detección con respecto a las características sutiles presentes en las unidades de acción facial de las microexpresiones, este documento propone un algoritmo de detección de unidades de acción de microexpresiones, Redes de Doble Ruta Incrustadas en la Atención y Tres Redes de Flujo Superficial (ADP-DSTN), que incorpora una doble ruta incrustada en la atención y una red de tres flujos superficiales. Primero, se incrustó un mecanismo de atención después de cada capa de Cuello de Botella en las Redes de Doble Ruta fundamentales para extraer características estáticas que representan variaciones de textura sutiles que tienen pesos significativos en las unidades de acción. Posteriormente, se empleó una red neuronal convolucional tridimensional de tres flujos superficiales poco profunda para extraer características de flujo óptico que eran particularmente sensibles a las características temporales y discriminatorias específicas de las unidades de acción de microexpresiones. Finalmente, los vectores de características faciales estáticas adquiridas y los vectores de características de flujo óptico se concatenaron para formar un vector de características fusionadas que abarcaba información más efectiva para el reconocimiento. Luego, cada unidad de acción facial fue entrenada individualmente para abordar el problema de las débiles correlaciones entre las unidades de acción facial, facilitando así la clasificación de las emociones de las microexpresiones. Los resultados experimentales demostraron que el método propuesto logró un gran rendimiento en varios conjuntos de datos de microexpresiones. Los valores de recordatorio promedio no ponderado (UAR) fueron del 80.71%, 89.55%, 44.64%, 80.59% y 88.32% para los conjuntos de datos SAMM, CASME II, CAS(ME), SMIC y MEGC2019, respectivamente. Los puntajes de F1 no ponderados (UF1) fueron del 79.32%, 88.30%, 43.03%, 81.12% y 88.95%, respectivamente. Además, en comparación con el modelo de referencia, nuestro modelo propuesto logró un mejor rendimiento con una menor complejidad computacional, caracterizada por un valor de Operaciones de Punto Flotante (FLOPs) de 1087.350 M y un total de 6.356 x 10 parámetros del modelo.
Descripción
Las microexpresiones son sutiles movimientos faciales que ocurren en un período de tiempo extremadamente breve, a menudo revelando emociones reprimidas. Estas expresiones tienen una importancia significativa en varios campos, incluyendo la vigilancia de seguridad y la interacción humano-computadora. Sin embargo, la precisión del reconocimiento de microexpresiones está severamente limitada por las características inherentes de estas expresiones. Para abordar el problema de la baja precisión de detección con respecto a las características sutiles presentes en las unidades de acción facial de las microexpresiones, este documento propone un algoritmo de detección de unidades de acción de microexpresiones, Redes de Doble Ruta Incrustadas en la Atención y Tres Redes de Flujo Superficial (ADP-DSTN), que incorpora una doble ruta incrustada en la atención y una red de tres flujos superficiales. Primero, se incrustó un mecanismo de atención después de cada capa de Cuello de Botella en las Redes de Doble Ruta fundamentales para extraer características estáticas que representan variaciones de textura sutiles que tienen pesos significativos en las unidades de acción. Posteriormente, se empleó una red neuronal convolucional tridimensional de tres flujos superficiales poco profunda para extraer características de flujo óptico que eran particularmente sensibles a las características temporales y discriminatorias específicas de las unidades de acción de microexpresiones. Finalmente, los vectores de características faciales estáticas adquiridas y los vectores de características de flujo óptico se concatenaron para formar un vector de características fusionadas que abarcaba información más efectiva para el reconocimiento. Luego, cada unidad de acción facial fue entrenada individualmente para abordar el problema de las débiles correlaciones entre las unidades de acción facial, facilitando así la clasificación de las emociones de las microexpresiones. Los resultados experimentales demostraron que el método propuesto logró un gran rendimiento en varios conjuntos de datos de microexpresiones. Los valores de recordatorio promedio no ponderado (UAR) fueron del 80.71%, 89.55%, 44.64%, 80.59% y 88.32% para los conjuntos de datos SAMM, CASME II, CAS(ME), SMIC y MEGC2019, respectivamente. Los puntajes de F1 no ponderados (UF1) fueron del 79.32%, 88.30%, 43.03%, 81.12% y 88.95%, respectivamente. Además, en comparación con el modelo de referencia, nuestro modelo propuesto logró un mejor rendimiento con una menor complejidad computacional, caracterizada por un valor de Operaciones de Punto Flotante (FLOPs) de 1087.350 M y un total de 6.356 x 10 parámetros del modelo.