logo móvil
Contáctanos

Deform2NeRF: deformación no rígida y fusión de características 2D-3D con atención cruzada para la reconstrucción dinámica de humanos

Autores: Xie, Xiaolong; Guo, Xusheng; Li, Wei; Liu, Jie; Xu, Jianfeng

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Deform2NeRF: deformación no rígida y fusión de características 2D-3D con atención cruzada para la reconstrucción dinámica de humanos


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Modelos dinámicos del cuerpo humano
Videos de múltiples vistas
Método Animatable NeRF
Deform2NeRF
Corrección de deformación no rígida
Módulos de fusión de características de imagen

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 41

Citaciones: Sin citaciones


Descripción
La reconstrucción de modelos dinámicos del cuerpo humano a partir de videos de múltiples vistas plantea un desafío sustancial en el campo de la visión por computadora en 3D. Actualmente, el método Animatable NeRF aborda este desafío al mapear puntos observados desde el espacio de visualización a un espacio canónico. Sin embargo, este mapeo introduce desplazamientos posicionales en los puntos predichos, lo que resulta en artefactos, especialmente en áreas intrincadas. En este documento, proponemos un enfoque innovador llamado Deform2NeRF que incorpora corrección de deformación no rígida y módulos de fusión de características de imagen en el marco de trabajo de Animatable NeRF para mejorar la reconstrucción de modelos humanos animables. En primer lugar, introducimos una red de campo de deformación no rígida para abordar el problema del desplazamiento de la posición del punto de manera efectiva. Esta red corrige hábilmente las discrepancias posicionales causadas por deformaciones no rígidas. En segundo lugar, introducimos un módulo de aprendizaje de fusión de características 2D-3D con atención cruzada e integramos con la red NeRF para mitigar artefactos en regiones detalladas específicas. Nuestros resultados experimentales demuestran que nuestro método mejora significativamente el índice de PSNR en aproximadamente un 5% en comparación con métodos representativos en el campo. Este notable avance subraya la profunda importancia de nuestro enfoque en los dominios de síntesis de nuevas vistas y reconstrucción digital del ser humano.

Otros recursos que podrían interesarte

Temas Virtualpro