Rigging facial neutral desde mallas espaciotemporales limitadas
Autores: Hou, Jing; Weng, Dongdong; Zhao, Zhihe; Li, Ying; Zhou, Jixiang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Rigging facial neutral desde mallas espaciotemporales limitadas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Rigging facial
Métodos de rigging automáticos
Conjuntos de datos 3D
Parámetros semánticos
Generador de expresiones
Reconocedor de expresiones
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
El rigging facial manual es una tarea que consume mucho tiempo. Los métodos tradicionales de rigging automático carecen de conjuntos de datos en 3D o parámetros semánticos explicables, lo que dificulta reasignar una cierta expresión en 3D a un nuevo rostro. Para abordar el problema, generamos automáticamente un gran conjunto de datos en 3D que contiene parámetros semánticos, posiciones articulares y posiciones de vértices a partir de un número limitado de mallas espacio-temporales. Establecemos un generador de expresiones basado en un perceptrón multicapa con restricciones de vértices de los parámetros semánticos a las posiciones articulares y establecemos un reconocedor de expresiones basado en una estructura adversaria generativa de las posiciones articulares a los parámetros semánticos. Para mejorar la precisión del reconocimiento de áreas faciales clave, agregamos restricciones locales de vértices para los ojos y los labios, que se determinan mediante las máscaras 3D calculadas por el algoritmo de búsqueda de proyección propuesto. Probamos los efectos de generación y reconocimiento en un número limitado de mallas Metahuman disponibles públicamente y mallas recolectadas por nosotros mismos. En comparación con los métodos existentes, nuestro generador tiene el tiempo de generación más corto de 14.78 ms y el menor error cuadrático medio relativo de vértices de 1.57 x 10, mientras que nuestro reconocedor tiene la mayor precisión del 92.92%. El experimento de ablación verifica que las restricciones locales pueden mejorar la precisión del reconocimiento en un 3.02%. En comparación con otros métodos de selección de máscaras 3D, la precisión del reconocimiento se mejora en un 1.03%. Además, nuestro método muestra resultados sólidos para mallas de diferentes niveles de detalle, y el rig tiene más dimensiones de espacio semántico. El código fuente estará disponible si este artículo es aceptado para su publicación.
Descripción
El rigging facial manual es una tarea que consume mucho tiempo. Los métodos tradicionales de rigging automático carecen de conjuntos de datos en 3D o parámetros semánticos explicables, lo que dificulta reasignar una cierta expresión en 3D a un nuevo rostro. Para abordar el problema, generamos automáticamente un gran conjunto de datos en 3D que contiene parámetros semánticos, posiciones articulares y posiciones de vértices a partir de un número limitado de mallas espacio-temporales. Establecemos un generador de expresiones basado en un perceptrón multicapa con restricciones de vértices de los parámetros semánticos a las posiciones articulares y establecemos un reconocedor de expresiones basado en una estructura adversaria generativa de las posiciones articulares a los parámetros semánticos. Para mejorar la precisión del reconocimiento de áreas faciales clave, agregamos restricciones locales de vértices para los ojos y los labios, que se determinan mediante las máscaras 3D calculadas por el algoritmo de búsqueda de proyección propuesto. Probamos los efectos de generación y reconocimiento en un número limitado de mallas Metahuman disponibles públicamente y mallas recolectadas por nosotros mismos. En comparación con los métodos existentes, nuestro generador tiene el tiempo de generación más corto de 14.78 ms y el menor error cuadrático medio relativo de vértices de 1.57 x 10, mientras que nuestro reconocedor tiene la mayor precisión del 92.92%. El experimento de ablación verifica que las restricciones locales pueden mejorar la precisión del reconocimiento en un 3.02%. En comparación con otros métodos de selección de máscaras 3D, la precisión del reconocimiento se mejora en un 1.03%. Además, nuestro método muestra resultados sólidos para mallas de diferentes niveles de detalle, y el rig tiene más dimensiones de espacio semántico. El código fuente estará disponible si este artículo es aceptado para su publicación.