logo móvil
Contáctanos

Método de reconocimiento de microexpresiones basado en la fusión de características ADP-DSTN y el módulo de atención de bloque convolucional

Autores: Song, Junfang; Lei, Shanzhong; Wu, Wenzhe

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Método de reconocimiento de microexpresiones basado en la fusión de características ADP-DSTN y el módulo de atención de bloque convolucional


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Microexpresiones
Movimientos faciales
Reconocimiento de emociones
Algoritmo de detección
Red neuronal
Resultados experimentales

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 36

Citaciones: Sin citaciones


Descripción
Las microexpresiones son sutiles movimientos faciales que ocurren en un período de tiempo extremadamente breve, a menudo revelando emociones reprimidas. Estas expresiones tienen una importancia significativa en varios campos, incluyendo la vigilancia de seguridad y la interacción humano-computadora. Sin embargo, la precisión del reconocimiento de microexpresiones está severamente limitada por las características inherentes de estas expresiones. Para abordar el problema de la baja precisión de detección con respecto a las características sutiles presentes en las unidades de acción facial de las microexpresiones, este documento propone un algoritmo de detección de unidades de acción de microexpresiones, Redes de Doble Ruta Incrustadas en la Atención y Tres Redes de Flujo Superficial (ADP-DSTN), que incorpora una doble ruta incrustada en la atención y una red de tres flujos superficiales. Primero, se incrustó un mecanismo de atención después de cada capa de Cuello de Botella en las Redes de Doble Ruta fundamentales para extraer características estáticas que representan variaciones de textura sutiles que tienen pesos significativos en las unidades de acción. Posteriormente, se empleó una red neuronal convolucional tridimensional de tres flujos superficiales poco profunda para extraer características de flujo óptico que eran particularmente sensibles a las características temporales y discriminatorias específicas de las unidades de acción de microexpresiones. Finalmente, los vectores de características faciales estáticas adquiridas y los vectores de características de flujo óptico se concatenaron para formar un vector de características fusionadas que abarcaba información más efectiva para el reconocimiento. Luego, cada unidad de acción facial fue entrenada individualmente para abordar el problema de las débiles correlaciones entre las unidades de acción facial, facilitando así la clasificación de las emociones de las microexpresiones. Los resultados experimentales demostraron que el método propuesto logró un gran rendimiento en varios conjuntos de datos de microexpresiones. Los valores de recordatorio promedio no ponderado (UAR) fueron del 80.71%, 89.55%, 44.64%, 80.59% y 88.32% para los conjuntos de datos SAMM, CASME II, CAS(ME), SMIC y MEGC2019, respectivamente. Los puntajes de F1 no ponderados (UF1) fueron del 79.32%, 88.30%, 43.03%, 81.12% y 88.95%, respectivamente. Además, en comparación con el modelo de referencia, nuestro modelo propuesto logró un mejor rendimiento con una menor complejidad computacional, caracterizada por un valor de Operaciones de Punto Flotante (FLOPs) de 1087.350 M y un total de 6.356 x 10 parámetros del modelo.

Otros recursos que podrían interesarte

Temas Virtualpro