Conducción previa NeRF: Renderizado guiado previo
Autores: Jin, Tianxing; Zhuang, Jiayan; Xiao, Jiangjian; Ge, Jianfei; Ye, Sichao; Zhang, Xiaolu; Wang, Jie
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Conducción previa NeRF: Renderizado guiado previo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Campo de radiación neural
Métodos novedosos de síntesis de vista
NeRF
Vistas dispersas
Prioridades de profundidad
Eficiencia de renderizado
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 32
Citaciones: Sin citaciones
El campo de radiación neural (NeRF) basado en métodos novedosos de síntesis de vistas está ganando popularidad. NeRF puede generar imágenes más detalladas y realistas que los métodos tradicionales. La reconstrucción convencional de NeRF de una escena de habitación requiere al menos varios cientos de imágenes como datos de entrada y genera varios puntos de muestreo espacial, lo que supone una enorme carga en el proceso de entrenamiento y predicción en términos de memoria y tiempo computacional. Para abordar estos problemas, proponemos un modelo de NeRF impulsado por prioridades que solo acepta vistas dispersas como datos de entrada y reduce un número significativo de puntos de muestreo no funcionales para mejorar la eficiencia de entrenamiento y predicción y lograr una renderización rápida de alta calidad. En primer lugar, este estudio utiliza prioridades de profundidad para guiar el muestreo, y solo unos pocos puntos de muestreo cerca del rango controlable de la prioridad de profundidad se utilizan como datos de entrada, lo que reduce la ocupación de memoria y mejora la eficiencia de entrenamiento y predicción. En segundo lugar, este estudio codifica las prioridades de profundidad como pesos de distancia en el modelo y guía al modelo para ajustarse rápidamente a la superficie del objeto. Finalmente, se utilizó un enfoque novedoso que combina el método de renderizado de malla tradicional (TMRM) y el método de renderizado de volumen de NeRF para mejorar aún más la eficiencia de renderización. Los resultados experimentales demostraron que nuestro método tenía ventajas significativas en el caso de vistas de entrada dispersas (11 por habitación) y pocos puntos de muestreo (8 puntos por rayo).
Descripción
El campo de radiación neural (NeRF) basado en métodos novedosos de síntesis de vistas está ganando popularidad. NeRF puede generar imágenes más detalladas y realistas que los métodos tradicionales. La reconstrucción convencional de NeRF de una escena de habitación requiere al menos varios cientos de imágenes como datos de entrada y genera varios puntos de muestreo espacial, lo que supone una enorme carga en el proceso de entrenamiento y predicción en términos de memoria y tiempo computacional. Para abordar estos problemas, proponemos un modelo de NeRF impulsado por prioridades que solo acepta vistas dispersas como datos de entrada y reduce un número significativo de puntos de muestreo no funcionales para mejorar la eficiencia de entrenamiento y predicción y lograr una renderización rápida de alta calidad. En primer lugar, este estudio utiliza prioridades de profundidad para guiar el muestreo, y solo unos pocos puntos de muestreo cerca del rango controlable de la prioridad de profundidad se utilizan como datos de entrada, lo que reduce la ocupación de memoria y mejora la eficiencia de entrenamiento y predicción. En segundo lugar, este estudio codifica las prioridades de profundidad como pesos de distancia en el modelo y guía al modelo para ajustarse rápidamente a la superficie del objeto. Finalmente, se utilizó un enfoque novedoso que combina el método de renderizado de malla tradicional (TMRM) y el método de renderizado de volumen de NeRF para mejorar aún más la eficiencia de renderización. Los resultados experimentales demostraron que nuestro método tenía ventajas significativas en el caso de vistas de entrada dispersas (11 por habitación) y pocos puntos de muestreo (8 puntos por rayo).