Reconstrucción de escenas 3D conscientes del objeto a partir de imágenes 2D individuales de escenas interiores
Autores: Wen, Mingyun; Cho, Kyungeun
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Reconstrucción de escenas 3D conscientes del objeto a partir de imágenes 2D individuales de escenas interiores
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Estudios
Aprendizaje profundo
Escenas 3D
Identificación de objetos
Reconstrucción de mallas
Imagen 2D
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
Estudios recientes han demostrado que el aprendizaje profundo logra un excelente rendimiento en la reconstrucción de escenas 3D a partir de imágenes o videos de múltiples vistas. Sin embargo, estas reconstrucciones no proporcionan las identidades de los objetos, y la identificación de objetos es necesaria para que una escena sea funcional en la realidad virtual o aplicaciones interactivas. Los objetos en una escena reconstruida como una malla se tratan como un solo objeto, en lugar de entidades individuales con las que se puede interactuar o manipular. Reconstruir una escena 3D con conciencia de objetos a partir de una sola imagen 2D es un desafío porque el proceso de conversión de imagen de una escena 3D a una imagen 2D es irreversible, y la proyección de 3D a 2D reduce una dimensión. Para aliviar los efectos de la reducción de dimensión, propusimos un módulo para generar características de profundidad que pueden ayudar a la estimación de la pose 3D de objetos. Además, desarrollamos un enfoque novedoso para la reconstrucción de mallas que combina dos decodificadores que estiman formas 3D con representaciones de formas diferentes. Al aprovechar los principios del aprendizaje multitarea, nuestro enfoque demostró un rendimiento superior en la generación de mallas completas en comparación con los métodos que dependen únicamente en redes de reconstrucción de mallas basadas en representaciones implícitas (por ejemplo, funciones implícitas profundas locales), así como en la producción de formas más precisas en comparación con enfoques anteriores para la reconstrucción de mallas a partir de imágenes individuales (por ejemplo, redes de modificación de topología). El método propuesto fue evaluado en conjuntos de datos del mundo real. Los resultados mostraron que podría mejorar efectivamente el rendimiento de la reconstrucción de escenas 3D con conciencia de objetos en comparación con los métodos existentes.
Descripción
Estudios recientes han demostrado que el aprendizaje profundo logra un excelente rendimiento en la reconstrucción de escenas 3D a partir de imágenes o videos de múltiples vistas. Sin embargo, estas reconstrucciones no proporcionan las identidades de los objetos, y la identificación de objetos es necesaria para que una escena sea funcional en la realidad virtual o aplicaciones interactivas. Los objetos en una escena reconstruida como una malla se tratan como un solo objeto, en lugar de entidades individuales con las que se puede interactuar o manipular. Reconstruir una escena 3D con conciencia de objetos a partir de una sola imagen 2D es un desafío porque el proceso de conversión de imagen de una escena 3D a una imagen 2D es irreversible, y la proyección de 3D a 2D reduce una dimensión. Para aliviar los efectos de la reducción de dimensión, propusimos un módulo para generar características de profundidad que pueden ayudar a la estimación de la pose 3D de objetos. Además, desarrollamos un enfoque novedoso para la reconstrucción de mallas que combina dos decodificadores que estiman formas 3D con representaciones de formas diferentes. Al aprovechar los principios del aprendizaje multitarea, nuestro enfoque demostró un rendimiento superior en la generación de mallas completas en comparación con los métodos que dependen únicamente en redes de reconstrucción de mallas basadas en representaciones implícitas (por ejemplo, funciones implícitas profundas locales), así como en la producción de formas más precisas en comparación con enfoques anteriores para la reconstrucción de mallas a partir de imágenes individuales (por ejemplo, redes de modificación de topología). El método propuesto fue evaluado en conjuntos de datos del mundo real. Los resultados mostraron que podría mejorar efectivamente el rendimiento de la reconstrucción de escenas 3D con conciencia de objetos en comparación con los métodos existentes.