Redes espectrales profundas: procesamiento de mallas faciales de múltiples frecuencias con redes neuronales gráficas
Autores: Kosk, Robert; Southern, Richard; You, Lihua; Bian, Shaojun; Kokke, Willem; Maguire, Greg
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Redes espectrales profundas: procesamiento de mallas faciales de múltiples frecuencias con redes neuronales gráficas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Importancia
Basado en datos
Modelos paramétricos
Mallas 3D
Mallas espectrales
Aprendizaje de representación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 44
Citaciones: Sin citaciones
Con la creciente popularidad de los mundos virtuales, la importancia de los modelos paramétricos basados en datos de mallas 3D ha crecido rápidamente. Numerosas aplicaciones, como la visión por computadora, la generación procedural y la edición de mallas, dependen en gran medida de estos modelos. Sin embargo, los enfoques actuales no permiten la edición independiente de deformaciones en diferentes niveles de frecuencia. Tampoco se benefician de representar las deformaciones en diferentes frecuencias con representaciones dedicadas, lo que permitiría exponer mejor sus propiedades y mejorar la calidad geométrica y perceptual de las mallas generadas. En este trabajo, se presentan las mallas espectrales como un método para descomponer las deformaciones de la malla en deformaciones de baja y alta frecuencia. Estas características de las deformaciones de baja y alta frecuencia se utilizan para el aprendizaje de representación con redes convolucionales de grafos. Se construye un modelo paramétrico para la síntesis de mallas faciales 3D sobre el marco propuesto, exponiendo parámetros de usuario que controlan las deformaciones de alta y baja frecuencia desentrelazadas. El control independiente de las deformaciones en diferentes frecuencias y la generación de ejemplos sintéticos plausibles son objetivos mutuamente excluyentes. Se introduce un Factor de Acondicionamiento para aprovechar estos objetivos. Nuestro modelo aprovecha aún más la partición espectral al representar diferentes niveles de frecuencia con representaciones dispares y más adecuadas. Las bajas frecuencias se representan con coordenadas euclídeas estandarizadas, y las altas frecuencias con una representación de deformación normalizada (DR). Este artículo investiga las aplicaciones de nuestro enfoque propuesto en la reconstrucción de mallas, la interpolación de mallas y la edición multifrecuencia. Se demuestra que nuestro método mejora la calidad general de las mallas generadas en la mayoría de los conjuntos de datos al considerar tanto la norma como las métricas perceptivas de Error de Ángulo Dihédrico de Malla (DAME).
Descripción
Con la creciente popularidad de los mundos virtuales, la importancia de los modelos paramétricos basados en datos de mallas 3D ha crecido rápidamente. Numerosas aplicaciones, como la visión por computadora, la generación procedural y la edición de mallas, dependen en gran medida de estos modelos. Sin embargo, los enfoques actuales no permiten la edición independiente de deformaciones en diferentes niveles de frecuencia. Tampoco se benefician de representar las deformaciones en diferentes frecuencias con representaciones dedicadas, lo que permitiría exponer mejor sus propiedades y mejorar la calidad geométrica y perceptual de las mallas generadas. En este trabajo, se presentan las mallas espectrales como un método para descomponer las deformaciones de la malla en deformaciones de baja y alta frecuencia. Estas características de las deformaciones de baja y alta frecuencia se utilizan para el aprendizaje de representación con redes convolucionales de grafos. Se construye un modelo paramétrico para la síntesis de mallas faciales 3D sobre el marco propuesto, exponiendo parámetros de usuario que controlan las deformaciones de alta y baja frecuencia desentrelazadas. El control independiente de las deformaciones en diferentes frecuencias y la generación de ejemplos sintéticos plausibles son objetivos mutuamente excluyentes. Se introduce un Factor de Acondicionamiento para aprovechar estos objetivos. Nuestro modelo aprovecha aún más la partición espectral al representar diferentes niveles de frecuencia con representaciones dispares y más adecuadas. Las bajas frecuencias se representan con coordenadas euclídeas estandarizadas, y las altas frecuencias con una representación de deformación normalizada (DR). Este artículo investiga las aplicaciones de nuestro enfoque propuesto en la reconstrucción de mallas, la interpolación de mallas y la edición multifrecuencia. Se demuestra que nuestro método mejora la calidad general de las mallas generadas en la mayoría de los conjuntos de datos al considerar tanto la norma como las métricas perceptivas de Error de Ángulo Dihédrico de Malla (DAME).