Atgt3d: generación y seguimiento animable de texturas para avatares 3d
Autores: Chen, Fei; Choi, Jaeho
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Atgt3d: generación y seguimiento animable de texturas para avatares 3d
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Propuesta
Generación de texturas animables
Módulo de difusión ocular
Módulo de difusión de seguimiento de poses
Texturas de alta calidad
Seguimiento sincronizado
Poses dinámicas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 41
Citaciones: Sin citaciones
Proponemos el ATGT3D, una Generación de Texturas Animables y Seguimiento para Avatares 3D, que presenta el diseño innovador del Módulo de Difusión de Ojos (EDM) y el Módulo de Difusión de Seguimiento de Poses (PTDM), dedicados a la generación de texturas de ojos de alta calidad y al seguimiento sincronizado de poses y texturas dinámicas, respectivamente. Comparado con los métodos tradicionales GAN y VAE, ATGT3D mejora significativamente la consistencia de texturas y la calidad de generación en escenas animadas utilizando el EDM, que produce texturas de cuerpo completo de alta calidad con información detallada de ojos utilizando el conjunto de datos HUMBI. Además, el Módulo de Difusión y Seguimiento de Poses (PTDM) monitorea parámetros de movimiento humano utilizando los conjuntos de datos de modelos humanos animables a nivel de malla BEAT2 y AMASS. El EDM, en conjunto con una semilla de textura básica que incluye ojos y el modelo de difusión, restaura texturas de alta calidad, mientras que el PTDM, al integrar parámetros corporales MoSh++ y SMPL-X, modela movimientos de manos y cuerpo a partir de imágenes humanas en 2D, proporcionando conjuntos de datos superiores de captura de movimiento 3D. Este módulo mantiene la sincronización de texturas y movimientos en el tiempo para garantizar un seguimiento preciso de las texturas de animación. Durante el entrenamiento, el modelo ATGT3D utiliza el modelo de difusión como columna vertebral generativa para producir nuevas muestras. El EDM mejora el proceso de generación de texturas al mejorar la precisión de los detalles de los ojos en las imágenes de textura. El PTDM implica un entrenamiento conjunto para la generación de poses y la reconstrucción de seguimiento de animación. Las texturas y los movimientos corporales se generan individualmente utilizando indicaciones codificadas derivadas de gestos enmascarados. Además, ATGT3D integra de forma adaptativa características de textura y animación utilizando el modelo de difusión para mejorar tanto la fidelidad como la diversidad. Los resultados experimentales muestran que ATGT3D logra un rendimiento óptimo en la generación de texturas y puede integrar de manera flexible entradas de animación espaciotemporales predefinidas para crear modelos de animación humana completos. Nuestros experimentos arrojaron resultados inesperadamente positivos.
Descripción
Proponemos el ATGT3D, una Generación de Texturas Animables y Seguimiento para Avatares 3D, que presenta el diseño innovador del Módulo de Difusión de Ojos (EDM) y el Módulo de Difusión de Seguimiento de Poses (PTDM), dedicados a la generación de texturas de ojos de alta calidad y al seguimiento sincronizado de poses y texturas dinámicas, respectivamente. Comparado con los métodos tradicionales GAN y VAE, ATGT3D mejora significativamente la consistencia de texturas y la calidad de generación en escenas animadas utilizando el EDM, que produce texturas de cuerpo completo de alta calidad con información detallada de ojos utilizando el conjunto de datos HUMBI. Además, el Módulo de Difusión y Seguimiento de Poses (PTDM) monitorea parámetros de movimiento humano utilizando los conjuntos de datos de modelos humanos animables a nivel de malla BEAT2 y AMASS. El EDM, en conjunto con una semilla de textura básica que incluye ojos y el modelo de difusión, restaura texturas de alta calidad, mientras que el PTDM, al integrar parámetros corporales MoSh++ y SMPL-X, modela movimientos de manos y cuerpo a partir de imágenes humanas en 2D, proporcionando conjuntos de datos superiores de captura de movimiento 3D. Este módulo mantiene la sincronización de texturas y movimientos en el tiempo para garantizar un seguimiento preciso de las texturas de animación. Durante el entrenamiento, el modelo ATGT3D utiliza el modelo de difusión como columna vertebral generativa para producir nuevas muestras. El EDM mejora el proceso de generación de texturas al mejorar la precisión de los detalles de los ojos en las imágenes de textura. El PTDM implica un entrenamiento conjunto para la generación de poses y la reconstrucción de seguimiento de animación. Las texturas y los movimientos corporales se generan individualmente utilizando indicaciones codificadas derivadas de gestos enmascarados. Además, ATGT3D integra de forma adaptativa características de textura y animación utilizando el modelo de difusión para mejorar tanto la fidelidad como la diversidad. Los resultados experimentales muestran que ATGT3D logra un rendimiento óptimo en la generación de texturas y puede integrar de manera flexible entradas de animación espaciotemporales predefinidas para crear modelos de animación humana completos. Nuestros experimentos arrojaron resultados inesperadamente positivos.