Reducción de la dimensionalidad para la síntesis de vista de campo de luz en tiempo real de modelos basados en kernel
Autores: Courteaux, Martijn; Mareen, Hannes; Ramlot, Bert; Lambert, Peter; Van Wallendael, Glenn
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Reducción de la dimensionalidad para la síntesis de vista de campo de luz en tiempo real de modelos basados en kernel
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Propuesto
Interactivo
SMoE
En tiempo real
GPU
Campo de luz
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
Varios marcos se han propuesto para entregar contenido de video interactivo, panorámico y capturado por cámaras con seis grados de libertad. Sin embargo, sigue sin estar claro cuál marco cumplirá mejor con todos los requisitos. En este trabajo, nos enfocamos en un Mezcla Dirigida de Expertos (SMoE) para campos de luz planos 4D, que es una representación basada en núcleos. Para que SMoE sea viable en experiencias interactivas de campos de luz, la síntesis de vistas en tiempo real es crucial pero aún no resuelta. Este documento presenta dos contribuciones clave: una derivación matemática de un modelo intrínsecamente 2D específico de vista a partir del modelo original de campo de luz 4D y un pipeline gráfico de GPU que sintetiza estas vistas en tiempo real. Configurando la implementación de GPU propuesta para una alta precisión, se logra una frecuencia de 180 a 290 Hz con una resolución de píxeles en una NVIDIA RTX 2080Ti. En comparación con los Campos de Radiación Neural (NeRFs) de NVIDIA con la configuración predeterminada, nuestra técnica de renderización de campos de luz es de 42 a 597 veces más rápida. Además, permitir artefactos casi imperceptibles en el proceso de reconstrucción puede aumentar la velocidad en un 40%. Una aproximación de Taylor de primer orden causa vistas imperfectas con puntuaciones de relación señal-ruido máxima (PSNR) entre 45 dB y 63 dB en comparación con la implementación de referencia. En conclusión, presentamos un algoritmo eficiente para sintetizar vistas 2D en puntos de vista arbitrarios a partir de modelos de SMoE de campos de luz planos 4D, lo que permite una renderización de campos de luz en tiempo real, interactiva y de alta calidad dentro del marco de SMoE.
Descripción
Varios marcos se han propuesto para entregar contenido de video interactivo, panorámico y capturado por cámaras con seis grados de libertad. Sin embargo, sigue sin estar claro cuál marco cumplirá mejor con todos los requisitos. En este trabajo, nos enfocamos en un Mezcla Dirigida de Expertos (SMoE) para campos de luz planos 4D, que es una representación basada en núcleos. Para que SMoE sea viable en experiencias interactivas de campos de luz, la síntesis de vistas en tiempo real es crucial pero aún no resuelta. Este documento presenta dos contribuciones clave: una derivación matemática de un modelo intrínsecamente 2D específico de vista a partir del modelo original de campo de luz 4D y un pipeline gráfico de GPU que sintetiza estas vistas en tiempo real. Configurando la implementación de GPU propuesta para una alta precisión, se logra una frecuencia de 180 a 290 Hz con una resolución de píxeles en una NVIDIA RTX 2080Ti. En comparación con los Campos de Radiación Neural (NeRFs) de NVIDIA con la configuración predeterminada, nuestra técnica de renderización de campos de luz es de 42 a 597 veces más rápida. Además, permitir artefactos casi imperceptibles en el proceso de reconstrucción puede aumentar la velocidad en un 40%. Una aproximación de Taylor de primer orden causa vistas imperfectas con puntuaciones de relación señal-ruido máxima (PSNR) entre 45 dB y 63 dB en comparación con la implementación de referencia. En conclusión, presentamos un algoritmo eficiente para sintetizar vistas 2D en puntos de vista arbitrarios a partir de modelos de SMoE de campos de luz planos 4D, lo que permite una renderización de campos de luz en tiempo real, interactiva y de alta calidad dentro del marco de SMoE.