Mm-Nerf: representación de escenas a gran escala con cuadrícula de hash de múltiples resoluciones y características de prioridades de múltiples vistas
Autores: Dong, Bo; Chen, Kaiqiang; Wang, Zhirui; Yan, Menglong; Gu, Jiaojiao; Sun, Xian
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Mm-Nerf: representación de escenas a gran escala con cuadrícula de hash de múltiples resoluciones y características de prioridades de múltiples vistas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Campos de radiación neural
Escenas a gran escala
Red mlp
Mm-nerf
Detalles geométricos
Relación pico-señal a ruido.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
La reconstrucción de escenas a gran escala utilizando Campos de Radiación Neural (NeRFs) es un tema de investigación candente en visión por computadora 3D. Los métodos existentes basados en MLP (percepción de múltiples capas) a menudo sufren de problemas de subajuste y falta de detalles finos en la representación de escenas a gran escala. Las soluciones populares son dividir la escena en áreas pequeñas para modelarlas por separado o aumentar la escala de capas de la red MLP. Sin embargo, el problema subsiguiente es que el costo de entrenamiento aumenta. Además, la reconstrucción de escenas grandes, a diferencia de la reconstrucción a escala de objetos, implica un aumento considerable en la cantidad de datos de vista si la información previa de la escena no se utiliza de manera efectiva. En este documento, proponemos un método innovador llamado MM-NeRF, que integra características híbridas eficientes en el marco de NeRF para mejorar la reconstrucción de escenas a gran escala. Proponemos emplear una estructura de captura de características de doble rama, que consta de una rama de características de cuadrícula hash 3D de múltiples resoluciones y una rama de características previas de 2D de múltiples vistas. La característica de cuadrícula hash 3D modela detalles geométricos, mientras que la característica previa de 2D complementa la información de textura local. Nuestros resultados experimentales muestran que tal integración es suficiente para renderizar vistas novedosas realistas con detalles finos, formando una representación geométrica más precisa. En comparación con métodos representativos en el campo, nuestro método mejora significativamente el PSNR (Relación Señal-Ruido Pico) en aproximadamente un 5%. Este notable progreso subraya la destacada contribución de nuestro método en el campo de la reconstrucción de campos de radiación en escenas grandes.
Descripción
La reconstrucción de escenas a gran escala utilizando Campos de Radiación Neural (NeRFs) es un tema de investigación candente en visión por computadora 3D. Los métodos existentes basados en MLP (percepción de múltiples capas) a menudo sufren de problemas de subajuste y falta de detalles finos en la representación de escenas a gran escala. Las soluciones populares son dividir la escena en áreas pequeñas para modelarlas por separado o aumentar la escala de capas de la red MLP. Sin embargo, el problema subsiguiente es que el costo de entrenamiento aumenta. Además, la reconstrucción de escenas grandes, a diferencia de la reconstrucción a escala de objetos, implica un aumento considerable en la cantidad de datos de vista si la información previa de la escena no se utiliza de manera efectiva. En este documento, proponemos un método innovador llamado MM-NeRF, que integra características híbridas eficientes en el marco de NeRF para mejorar la reconstrucción de escenas a gran escala. Proponemos emplear una estructura de captura de características de doble rama, que consta de una rama de características de cuadrícula hash 3D de múltiples resoluciones y una rama de características previas de 2D de múltiples vistas. La característica de cuadrícula hash 3D modela detalles geométricos, mientras que la característica previa de 2D complementa la información de textura local. Nuestros resultados experimentales muestran que tal integración es suficiente para renderizar vistas novedosas realistas con detalles finos, formando una representación geométrica más precisa. En comparación con métodos representativos en el campo, nuestro método mejora significativamente el PSNR (Relación Señal-Ruido Pico) en aproximadamente un 5%. Este notable progreso subraya la destacada contribución de nuestro método en el campo de la reconstrucción de campos de radiación en escenas grandes.