Reconstrucción 3D de objetivos espaciales basada en campos neuronales con priors de profundidad predicha
Autores: Fu, Tao; Zhou, Yu; Wang, Ying; Liu, Jian; Zhang, Yamin; Kong, Qinglei; Chen, Bo
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Reconstrucción 3D de objetivos espaciales basada en campos neuronales con priors de profundidad predicha
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Aeroespacial
Palabras clave
Tecnología espacial
Naves espaciales
Satélites
Reconstrucción 3D
Campo de radiancia neural
Imágenes ópticas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
A medida que la tecnología espacial avanza, un número creciente de naves espaciales se están lanzando al espacio, lo que hace esencial monitorear y mantener los satélites para garantizar operaciones seguras y estables. Adquirir información 3D de los objetivos espaciales permite la evaluación precisa de su forma, tamaño y daños en la superficie, proporcionando un apoyo crítico para las actividades de servicio en órbita. Las técnicas de reconstrucción 3D existentes para objetivos espaciales, que dependen principalmente de mediciones de nubes de puntos láser o secuencias de imágenes, no pueden adaptarse a escenarios con datos de observación y puntos de vista limitados. Proponemos un método novedoso para lograr una reconstrucción 3D de alta calidad de los objetivos espaciales. El enfoque propuesto comienza con una reconstrucción 3D preliminar utilizando el modelo de campo de radiancia neural (NeRF), guiado por imágenes ópticas observadas del objetivo espacial y priors de profundidad extraídos de una red de estimación de profundidad monocular personalizada (MDE). Luego, se emplea un NeRF para sintetizar imágenes ópticas desde puntos de vista no observados. La información de profundidad correspondiente para estos puntos de vista, derivada de la misma red de estimación de profundidad, se integra como una señal de supervisión para refinar iterativamente la reconstrucción 3D. Al explotar MDE y el NeRF, el esquema propuesto optimiza iterativamente la reconstrucción 3D de objetos espaciales desde puntos de vista vistos a puntos de vista no vistos. Para minimizar el ruido excesivo de los puntos de vista no vistos, también incorporamos un mecanismo de modelado confiable con funciones de pérdida de clasificación de profundidad relativa. Los resultados experimentales demuestran que el método propuesto logra una calidad de reconstrucción 3D superior bajo entradas escasas, superando a los modelos tradicionales NeRF y DS-NeRF en términos de calidad perceptual y precisión geométrica.
Descripción
A medida que la tecnología espacial avanza, un número creciente de naves espaciales se están lanzando al espacio, lo que hace esencial monitorear y mantener los satélites para garantizar operaciones seguras y estables. Adquirir información 3D de los objetivos espaciales permite la evaluación precisa de su forma, tamaño y daños en la superficie, proporcionando un apoyo crítico para las actividades de servicio en órbita. Las técnicas de reconstrucción 3D existentes para objetivos espaciales, que dependen principalmente de mediciones de nubes de puntos láser o secuencias de imágenes, no pueden adaptarse a escenarios con datos de observación y puntos de vista limitados. Proponemos un método novedoso para lograr una reconstrucción 3D de alta calidad de los objetivos espaciales. El enfoque propuesto comienza con una reconstrucción 3D preliminar utilizando el modelo de campo de radiancia neural (NeRF), guiado por imágenes ópticas observadas del objetivo espacial y priors de profundidad extraídos de una red de estimación de profundidad monocular personalizada (MDE). Luego, se emplea un NeRF para sintetizar imágenes ópticas desde puntos de vista no observados. La información de profundidad correspondiente para estos puntos de vista, derivada de la misma red de estimación de profundidad, se integra como una señal de supervisión para refinar iterativamente la reconstrucción 3D. Al explotar MDE y el NeRF, el esquema propuesto optimiza iterativamente la reconstrucción 3D de objetos espaciales desde puntos de vista vistos a puntos de vista no vistos. Para minimizar el ruido excesivo de los puntos de vista no vistos, también incorporamos un mecanismo de modelado confiable con funciones de pérdida de clasificación de profundidad relativa. Los resultados experimentales demuestran que el método propuesto logra una calidad de reconstrucción 3D superior bajo entradas escasas, superando a los modelos tradicionales NeRF y DS-NeRF en términos de calidad perceptual y precisión geométrica.