Deform2NeRF: deformación no rígida y fusión de características 2D-3D con atención cruzada para la reconstrucción dinámica de humanos
Autores: Xie, Xiaolong; Guo, Xusheng; Li, Wei; Liu, Jie; Xu, Jianfeng
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Deform2NeRF: deformación no rígida y fusión de características 2D-3D con atención cruzada para la reconstrucción dinámica de humanos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelos dinámicos del cuerpo humano
Videos de múltiples vistas
Método Animatable NeRF
Deform2NeRF
Corrección de deformación no rígida
Módulos de fusión de características de imagen
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 41
Citaciones: Sin citaciones
La reconstrucción de modelos dinámicos del cuerpo humano a partir de videos de múltiples vistas plantea un desafío sustancial en el campo de la visión por computadora en 3D. Actualmente, el método Animatable NeRF aborda este desafío al mapear puntos observados desde el espacio de visualización a un espacio canónico. Sin embargo, este mapeo introduce desplazamientos posicionales en los puntos predichos, lo que resulta en artefactos, especialmente en áreas intrincadas. En este documento, proponemos un enfoque innovador llamado Deform2NeRF que incorpora corrección de deformación no rígida y módulos de fusión de características de imagen en el marco de trabajo de Animatable NeRF para mejorar la reconstrucción de modelos humanos animables. En primer lugar, introducimos una red de campo de deformación no rígida para abordar el problema del desplazamiento de la posición del punto de manera efectiva. Esta red corrige hábilmente las discrepancias posicionales causadas por deformaciones no rígidas. En segundo lugar, introducimos un módulo de aprendizaje de fusión de características 2D-3D con atención cruzada e integramos con la red NeRF para mitigar artefactos en regiones detalladas específicas. Nuestros resultados experimentales demuestran que nuestro método mejora significativamente el índice de PSNR en aproximadamente un 5% en comparación con métodos representativos en el campo. Este notable avance subraya la profunda importancia de nuestro enfoque en los dominios de síntesis de nuevas vistas y reconstrucción digital del ser humano.
Descripción
La reconstrucción de modelos dinámicos del cuerpo humano a partir de videos de múltiples vistas plantea un desafío sustancial en el campo de la visión por computadora en 3D. Actualmente, el método Animatable NeRF aborda este desafío al mapear puntos observados desde el espacio de visualización a un espacio canónico. Sin embargo, este mapeo introduce desplazamientos posicionales en los puntos predichos, lo que resulta en artefactos, especialmente en áreas intrincadas. En este documento, proponemos un enfoque innovador llamado Deform2NeRF que incorpora corrección de deformación no rígida y módulos de fusión de características de imagen en el marco de trabajo de Animatable NeRF para mejorar la reconstrucción de modelos humanos animables. En primer lugar, introducimos una red de campo de deformación no rígida para abordar el problema del desplazamiento de la posición del punto de manera efectiva. Esta red corrige hábilmente las discrepancias posicionales causadas por deformaciones no rígidas. En segundo lugar, introducimos un módulo de aprendizaje de fusión de características 2D-3D con atención cruzada e integramos con la red NeRF para mitigar artefactos en regiones detalladas específicas. Nuestros resultados experimentales demuestran que nuestro método mejora significativamente el índice de PSNR en aproximadamente un 5% en comparación con métodos representativos en el campo. Este notable avance subraya la profunda importancia de nuestro enfoque en los dominios de síntesis de nuevas vistas y reconstrucción digital del ser humano.