logo móvil
Contáctanos

Reducción de la dimensionalidad para la síntesis de vista de campo de luz en tiempo real de modelos basados en kernel

Autores: Courteaux, Martijn; Mareen, Hannes; Ramlot, Bert; Lambert, Peter; Van Wallendael, Glenn

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Reducción de la dimensionalidad para la síntesis de vista de campo de luz en tiempo real de modelos basados en kernel


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Propuesto
Interactivo
SMoE
En tiempo real
GPU
Campo de luz

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 31

Citaciones: Sin citaciones


Descripción
Varios marcos se han propuesto para entregar contenido de video interactivo, panorámico y capturado por cámaras con seis grados de libertad. Sin embargo, sigue sin estar claro cuál marco cumplirá mejor con todos los requisitos. En este trabajo, nos enfocamos en un Mezcla Dirigida de Expertos (SMoE) para campos de luz planos 4D, que es una representación basada en núcleos. Para que SMoE sea viable en experiencias interactivas de campos de luz, la síntesis de vistas en tiempo real es crucial pero aún no resuelta. Este documento presenta dos contribuciones clave: una derivación matemática de un modelo intrínsecamente 2D específico de vista a partir del modelo original de campo de luz 4D y un pipeline gráfico de GPU que sintetiza estas vistas en tiempo real. Configurando la implementación de GPU propuesta para una alta precisión, se logra una frecuencia de 180 a 290 Hz con una resolución de píxeles en una NVIDIA RTX 2080Ti. En comparación con los Campos de Radiación Neural (NeRFs) de NVIDIA con la configuración predeterminada, nuestra técnica de renderización de campos de luz es de 42 a 597 veces más rápida. Además, permitir artefactos casi imperceptibles en el proceso de reconstrucción puede aumentar la velocidad en un 40%. Una aproximación de Taylor de primer orden causa vistas imperfectas con puntuaciones de relación señal-ruido máxima (PSNR) entre 45 dB y 63 dB en comparación con la implementación de referencia. En conclusión, presentamos un algoritmo eficiente para sintetizar vistas 2D en puntos de vista arbitrarios a partir de modelos de SMoE de campos de luz planos 4D, lo que permite una renderización de campos de luz en tiempo real, interactiva y de alta calidad dentro del marco de SMoE.

Otros recursos que podrían interesarte

Temas Virtualpro