logo móvil
Contáctanos

Conjunto de datos de series temporales de biosinales faciales (FBioT): Un enfoque de reconocimiento de expresiones faciales visual-temporales (VT-FER)

Autores: Souza, João Marcelo Silva; Alves, Caroline da Silva Morais; Cerqueira, Jés de Jesus Fiais; Oliveira, Wagner Luiz Alves de; Pires, Orlando Mota; Santos, Naiara Silva Bonfim dos; Wyzykowski, Andre Brasil Vieira; Pinheiro, Oberdan Rocha; Almeida Filho, Daniel Gomes de; da Silva, Marcelo Oliveira; Barbosa, Josiane Dantas Viana

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Conjunto de datos de series temporales de biosinales faciales (FBioT): Un enfoque de reconocimiento de expresiones faciales visual-temporales (VT-FER)


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Biosignales visuales
Reconocimiento de expresiones faciales
Desafíos espaciales
Desafíos temporales
Conjunto de datos de series temporales de biosignales faciales
Reconocimiento visual-temporal de expresiones faciales.

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 39

Citaciones: Sin citaciones


Descripción
Las señales biológicas visuales se pueden utilizar para analizar las actividades conductuales humanas y servir como recurso principal para el Reconocimiento de Expresiones Faciales (FER). Los sistemas computacionales de FER enfrentan desafíos significativos, tanto espaciales como temporales. Los desafíos espaciales incluyen deformaciones u ocultaciones de la geometría facial, mientras que los desafíos temporales involucran discontinuidades en la observación del movimiento debido a la alta variabilidad en las poses y condiciones dinámicas como rotación y traslación. Para mejorar la precisión analítica y la confiabilidad de validación de los sistemas de FER, se han propuesto varios conjuntos de datos. Sin embargo, la mayoría de estos conjuntos de datos se centran principalmente en características espaciales, se basan en imágenes estáticas o consisten en videos cortos capturados en entornos altamente controlados. Estas limitaciones reducen significativamente la aplicabilidad de dichos sistemas en escenarios del mundo real. Este documento propone el Conjunto de Datos de Series Temporales de Biosignos Faciales (FBioT), un conjunto de datos novedoso que proporciona descriptores temporales y características extraídas de videos comunes grabados en entornos no controlados. Para automatizar la construcción del conjunto de datos, proponemos el Reconocimiento de Expresiones Faciales Visual-Temporales (VT-FER), un método que estabiliza los efectos temporales utilizando mediciones normalizadas basadas en los principios del Sistema de Codificación de Acciones Faciales (FACS) y genera patrones de expresión característicos para correlacionar con eventos temporales del mundo real. Para demostrar la viabilidad, aplicamos el método para crear una versión piloto del conjunto de datos FBioT. Esta versión piloto resultó en aproximadamente 10,000 segundos de videos públicos capturados bajo condiciones de movimiento facial del mundo real, de los cuales extraímos 22 métricas directas y virtuales que representan deformaciones musculares faciales. Durante este proceso, etiquetamos y clasificamos preliminarmente 3046 eventos temporales que representan dos clases de emociones. Como prueba de concepto, estas clases de emociones se utilizaron como entrada para entrenar redes neuronales, con resultados resumidos en este documento y disponibles en un repositorio en línea de código abierto.

Otros recursos que podrían interesarte

Temas Virtualpro