Detección de microexpresiones basada en VoVNet, impulsada por características a múltiples escalas
Autores: Yang, Jun; Wu, Zilu; Wu, Renbiao
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Detección de microexpresiones basada en VoVNet, impulsada por características a múltiples escalas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Micro-expresiones
Expresión emocional
Identificación
Aplicaciones
Modelo basado en VoVNet
Extracción de características
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
Las microexpresiones son un tipo de expresión emocional real, que son inconscientes y difíciles de ocultar. Identificar estas expresiones tiene grandes aplicaciones potenciales en áreas como la seguridad de la aviación civil, la interrogación criminal y la medicina clínica. Sin embargo, debido a sus características como la corta duración, la baja intensidad y las unidades de acción dispersas, esto hace que sea difícil detectar las microexpresiones. Para abordar este problema e inspirados en métodos de detección de objetos, proponemos un modelo de detección de microexpresiones basado en VoVNet, impulsado por características multi-escala. En primer lugar, se utiliza VoVNet para lograr la extracción y reutilización de diferentes características de campo perceptivo de escala para mejorar la capacidad de extracción de características. En segundo lugar, se extraen y fusionan características multi-escala utilizando el módulo de Feature Pyramid Network, incorporando características de flujo óptico, y al realizar la fusión interactiva de información de características detalladas e información de características semánticas. Por último, el modelo se entrena y se optimiza en CAS(ME) y SAMM Long Video. Los resultados experimentales muestran que el puntaje F1 del modelo propuesto se mejora en 0.1963 y 0.2441 en los dos conjuntos de datos en comparación con el método base, lo que supera a los métodos de detección más populares.
Descripción
Las microexpresiones son un tipo de expresión emocional real, que son inconscientes y difíciles de ocultar. Identificar estas expresiones tiene grandes aplicaciones potenciales en áreas como la seguridad de la aviación civil, la interrogación criminal y la medicina clínica. Sin embargo, debido a sus características como la corta duración, la baja intensidad y las unidades de acción dispersas, esto hace que sea difícil detectar las microexpresiones. Para abordar este problema e inspirados en métodos de detección de objetos, proponemos un modelo de detección de microexpresiones basado en VoVNet, impulsado por características multi-escala. En primer lugar, se utiliza VoVNet para lograr la extracción y reutilización de diferentes características de campo perceptivo de escala para mejorar la capacidad de extracción de características. En segundo lugar, se extraen y fusionan características multi-escala utilizando el módulo de Feature Pyramid Network, incorporando características de flujo óptico, y al realizar la fusión interactiva de información de características detalladas e información de características semánticas. Por último, el modelo se entrena y se optimiza en CAS(ME) y SAMM Long Video. Los resultados experimentales muestran que el puntaje F1 del modelo propuesto se mejora en 0.1963 y 0.2441 en los dos conjuntos de datos en comparación con el método base, lo que supera a los métodos de detección más populares.