logo móvil
Contáctanos

Reconstrucción de escenas 3D conscientes del objeto a partir de imágenes 2D individuales de escenas interiores

Autores: Wen, Mingyun; Cho, Kyungeun

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Reconstrucción de escenas 3D conscientes del objeto a partir de imágenes 2D individuales de escenas interiores


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Estudios
Aprendizaje profundo
Escenas 3D
Identificación de objetos
Reconstrucción de mallas
Imagen 2D

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 22

Citaciones: Sin citaciones


Descripción
Estudios recientes han demostrado que el aprendizaje profundo logra un excelente rendimiento en la reconstrucción de escenas 3D a partir de imágenes o videos de múltiples vistas. Sin embargo, estas reconstrucciones no proporcionan las identidades de los objetos, y la identificación de objetos es necesaria para que una escena sea funcional en la realidad virtual o aplicaciones interactivas. Los objetos en una escena reconstruida como una malla se tratan como un solo objeto, en lugar de entidades individuales con las que se puede interactuar o manipular. Reconstruir una escena 3D con conciencia de objetos a partir de una sola imagen 2D es un desafío porque el proceso de conversión de imagen de una escena 3D a una imagen 2D es irreversible, y la proyección de 3D a 2D reduce una dimensión. Para aliviar los efectos de la reducción de dimensión, propusimos un módulo para generar características de profundidad que pueden ayudar a la estimación de la pose 3D de objetos. Además, desarrollamos un enfoque novedoso para la reconstrucción de mallas que combina dos decodificadores que estiman formas 3D con representaciones de formas diferentes. Al aprovechar los principios del aprendizaje multitarea, nuestro enfoque demostró un rendimiento superior en la generación de mallas completas en comparación con los métodos que dependen únicamente en redes de reconstrucción de mallas basadas en representaciones implícitas (por ejemplo, funciones implícitas profundas locales), así como en la producción de formas más precisas en comparación con enfoques anteriores para la reconstrucción de mallas a partir de imágenes individuales (por ejemplo, redes de modificación de topología). El método propuesto fue evaluado en conjuntos de datos del mundo real. Los resultados mostraron que podría mejorar efectivamente el rendimiento de la reconstrucción de escenas 3D con conciencia de objetos en comparación con los métodos existentes.

Otros recursos que podrían interesarte

Temas Virtualpro