logo móvil
Contáctanos

Rigging facial neutral desde mallas espaciotemporales limitadas

Autores: Hou, Jing; Weng, Dongdong; Zhao, Zhihe; Li, Ying; Zhou, Jixiang

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Rigging facial neutral desde mallas espaciotemporales limitadas


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Rigging facial
Métodos de rigging automáticos
Conjuntos de datos 3D
Parámetros semánticos
Generador de expresiones
Reconocedor de expresiones

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 33

Citaciones: Sin citaciones


Descripción
El rigging facial manual es una tarea que consume mucho tiempo. Los métodos tradicionales de rigging automático carecen de conjuntos de datos en 3D o parámetros semánticos explicables, lo que dificulta reasignar una cierta expresión en 3D a un nuevo rostro. Para abordar el problema, generamos automáticamente un gran conjunto de datos en 3D que contiene parámetros semánticos, posiciones articulares y posiciones de vértices a partir de un número limitado de mallas espacio-temporales. Establecemos un generador de expresiones basado en un perceptrón multicapa con restricciones de vértices de los parámetros semánticos a las posiciones articulares y establecemos un reconocedor de expresiones basado en una estructura adversaria generativa de las posiciones articulares a los parámetros semánticos. Para mejorar la precisión del reconocimiento de áreas faciales clave, agregamos restricciones locales de vértices para los ojos y los labios, que se determinan mediante las máscaras 3D calculadas por el algoritmo de búsqueda de proyección propuesto. Probamos los efectos de generación y reconocimiento en un número limitado de mallas Metahuman disponibles públicamente y mallas recolectadas por nosotros mismos. En comparación con los métodos existentes, nuestro generador tiene el tiempo de generación más corto de 14.78 ms y el menor error cuadrático medio relativo de vértices de 1.57 x 10, mientras que nuestro reconocedor tiene la mayor precisión del 92.92%. El experimento de ablación verifica que las restricciones locales pueden mejorar la precisión del reconocimiento en un 3.02%. En comparación con otros métodos de selección de máscaras 3D, la precisión del reconocimiento se mejora en un 1.03%. Además, nuestro método muestra resultados sólidos para mallas de diferentes niveles de detalle, y el rig tiene más dimensiones de espacio semántico. El código fuente estará disponible si este artículo es aceptado para su publicación.

Otros recursos que podrían interesarte

Temas Virtualpro