Red de características profundas fusionadas con características regionales para una localización robusta de puntos de referencia faciales
Autores: Lin, Xuxin; Liang, Yanyan
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Red de características profundas fusionadas con características regionales para una localización robusta de puntos de referencia faciales
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Localización de puntos de referencia faciales
Red fusionada de características profundas sensibles a la región
Subred de detección de región
Mapas de puntuación de puntos de referencia
Fusión de características entre tareas
Fusión de características dentro de la tarea
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
En la localización de puntos de referencia faciales, la inicialización de la región facial suele desempeñar un papel importante en guiar al modelo para aprender características faciales críticas. La mayoría de los detectores de puntos de referencia faciales asumen una cara bien recortada como entrada y pueden rendir por debajo de lo esperado en aplicaciones reales si la entrada es inesperada. Para aliviar este problema, presentamos una red de características profundas fusionadas conscientes de la región (RDFN). El RDFN consta de una subred de detección de región y una subred de localización de puntos de referencia consciente de la región para resolver explícitamente el problema de inicialización de la entrada y derivar los mapas de puntuación de puntos de referencia, respectivamente. Para explotar la asociación entre tareas, desarrollamos un esquema de fusión de características entre tareas para extraer características de región semántica múltiple mientras se equilibra su importancia en diferentes dimensiones a través de la atención global de canales y la atención espacial global. Además, diseñamos un esquema de fusión de características dentro de la tarea para capturar el contexto a múltiples escalas y mejorar el flujo de gradiente para la subred de localización de puntos de referencia. En la etapa de inferencia, se emplea una estrategia de reponderación de ubicación para transformar los mapas de puntuación en coordenadas de puntos de referencia en 2D. Los extensos resultados experimentales demuestran que nuestro método tiene un rendimiento competitivo en comparación con los métodos más avanzados recientes, logrando NMEs del 3.28%, 1.48% y 3.43% en los conjuntos de datos 300W, AFLW y COFW, respectivamente.
Descripción
En la localización de puntos de referencia faciales, la inicialización de la región facial suele desempeñar un papel importante en guiar al modelo para aprender características faciales críticas. La mayoría de los detectores de puntos de referencia faciales asumen una cara bien recortada como entrada y pueden rendir por debajo de lo esperado en aplicaciones reales si la entrada es inesperada. Para aliviar este problema, presentamos una red de características profundas fusionadas conscientes de la región (RDFN). El RDFN consta de una subred de detección de región y una subred de localización de puntos de referencia consciente de la región para resolver explícitamente el problema de inicialización de la entrada y derivar los mapas de puntuación de puntos de referencia, respectivamente. Para explotar la asociación entre tareas, desarrollamos un esquema de fusión de características entre tareas para extraer características de región semántica múltiple mientras se equilibra su importancia en diferentes dimensiones a través de la atención global de canales y la atención espacial global. Además, diseñamos un esquema de fusión de características dentro de la tarea para capturar el contexto a múltiples escalas y mejorar el flujo de gradiente para la subred de localización de puntos de referencia. En la etapa de inferencia, se emplea una estrategia de reponderación de ubicación para transformar los mapas de puntuación en coordenadas de puntos de referencia en 2D. Los extensos resultados experimentales demuestran que nuestro método tiene un rendimiento competitivo en comparación con los métodos más avanzados recientes, logrando NMEs del 3.28%, 1.48% y 3.43% en los conjuntos de datos 300W, AFLW y COFW, respectivamente.