Reconocimiento de unidades de acción facial mediante atención previa y adaptativa
Autores: Shao, Zhiwen; Zhou, Yong; Zhu, Hancheng; Du, Wen-Liang; Yao, Rui; Chen, Hao
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Reconocimiento de unidades de acción facial mediante atención previa y adaptativa
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Unidad de acción facial
Reconocimiento
Predefinir
Atención
Adaptativo
Regiones
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 26
Citaciones: Sin citaciones
El reconocimiento de unidades de acción facial (AU) sigue siendo una tarea desafiante, debido a la sutileza y falta de rigidez de las AU. Una solución típica es localizar las regiones correlacionadas de cada AU. Los trabajos actuales a menudo predefinen la región de interés (ROI) de cada AU a través del conocimiento previo, o intentan capturar la ROI solo mediante la supervisión del reconocimiento de AU durante el entrenamiento. Sin embargo, la predefinición a menudo descuida regiones importantes, mientras que la supervisión es insuficiente para localizar con precisión las ROIs. En este documento, proponemos un método novedoso de reconocimiento de AU mediante atención previa y adaptativa. Específicamente, predefinimos una máscara para cada AU, en la que las ubicaciones más alejadas de los centros de AU especificados por el conocimiento previo tienen pesos más bajos. Se adopta un parámetro aprendible para controlar la importancia de diferentes ubicaciones. Luego, multiplicamos elemento por elemento la máscara por un mapa de atención aprendible, y utilizamos el nuevo mapa de atención para extraer la característica relacionada con AU, en la que el reconocimiento de AU puede supervisar el aprendizaje adaptativo de un nuevo mapa de atención. Los resultados experimentales muestran que nuestro método (i) supera a los enfoques de reconocimiento de AU de última generación en conjuntos de datos de referencia desafiantes, y (ii) puede razonar con precisión la distribución de atención regional de cada AU al combinar las ventajas tanto de la predefinición como de la supervisión.
Descripción
El reconocimiento de unidades de acción facial (AU) sigue siendo una tarea desafiante, debido a la sutileza y falta de rigidez de las AU. Una solución típica es localizar las regiones correlacionadas de cada AU. Los trabajos actuales a menudo predefinen la región de interés (ROI) de cada AU a través del conocimiento previo, o intentan capturar la ROI solo mediante la supervisión del reconocimiento de AU durante el entrenamiento. Sin embargo, la predefinición a menudo descuida regiones importantes, mientras que la supervisión es insuficiente para localizar con precisión las ROIs. En este documento, proponemos un método novedoso de reconocimiento de AU mediante atención previa y adaptativa. Específicamente, predefinimos una máscara para cada AU, en la que las ubicaciones más alejadas de los centros de AU especificados por el conocimiento previo tienen pesos más bajos. Se adopta un parámetro aprendible para controlar la importancia de diferentes ubicaciones. Luego, multiplicamos elemento por elemento la máscara por un mapa de atención aprendible, y utilizamos el nuevo mapa de atención para extraer la característica relacionada con AU, en la que el reconocimiento de AU puede supervisar el aprendizaje adaptativo de un nuevo mapa de atención. Los resultados experimentales muestran que nuestro método (i) supera a los enfoques de reconocimiento de AU de última generación en conjuntos de datos de referencia desafiantes, y (ii) puede razonar con precisión la distribución de atención regional de cada AU al combinar las ventajas tanto de la predefinición como de la supervisión.