Reconstrucción de objetos 3D basada en voxels a partir de una sola imagen 2D utilizando autoencoders variacionales
Autores: Tahir, Rohan; Sargano, Allah Bux; Habib, Zulfiqar
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Reconstrucción de objetos 3D basada en voxels a partir de una sola imagen 2D utilizando autoencoders variacionales
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Enfoques basados en el aprendizaje
Reconstrucción 3D
Imágenes 2D
Basado en voxel
Autoencoders
Autoencoders variacionales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 40
Citaciones: Sin citaciones
En los últimos años, los enfoques basados en el aprendizaje para la reconstrucción 3D han ganado mucha popularidad debido a sus resultados alentadores. Sin embargo, a diferencia de las imágenes 2D, el 3D no puede representarse en su forma canónica para hacerlo computacionalmente eficiente y eficaz en memoria. Además, la generación de un modelo 3D directamente a partir de una sola imagen 2D es aún más desafiante debido a los detalles limitados disponibles en la imagen para la reconstrucción 3D. Las técnicas existentes basadas en el aprendizaje todavía carecen de la resolución, eficiencia y suavidad deseadas de los modelos 3D necesarios para muchas aplicaciones prácticas. En este documento, proponemos la reconstrucción de objetos 3D basada en voxels (V3DOR) a partir de una sola imagen 2D para una mayor precisión, una utilizando autoencoders (AE) y otra utilizando autoencoders variacionales (VAE). La parte del codificador de ambos modelos se utiliza para aprender una representación latente comprimida adecuada a partir de una sola imagen 2D, y un decodificador genera un modelo 3D correspondiente. Nuestra contribución es doble. En primer lugar, hasta donde saben los autores, es la primera vez que los autoencoders variacionales (VAE) se han utilizado para el problema de reconstrucción 3D. En segundo lugar, los modelos propuestos extraen un conjunto discriminativo de características y generan un modelo 3D más suave y de alta resolución. Para evaluar la eficacia del método propuesto, se han realizado experimentos en un conjunto de datos de benchmark de ShapeNet. Los resultados confirman que el método propuesto supera a los métodos de vanguardia.
Descripción
En los últimos años, los enfoques basados en el aprendizaje para la reconstrucción 3D han ganado mucha popularidad debido a sus resultados alentadores. Sin embargo, a diferencia de las imágenes 2D, el 3D no puede representarse en su forma canónica para hacerlo computacionalmente eficiente y eficaz en memoria. Además, la generación de un modelo 3D directamente a partir de una sola imagen 2D es aún más desafiante debido a los detalles limitados disponibles en la imagen para la reconstrucción 3D. Las técnicas existentes basadas en el aprendizaje todavía carecen de la resolución, eficiencia y suavidad deseadas de los modelos 3D necesarios para muchas aplicaciones prácticas. En este documento, proponemos la reconstrucción de objetos 3D basada en voxels (V3DOR) a partir de una sola imagen 2D para una mayor precisión, una utilizando autoencoders (AE) y otra utilizando autoencoders variacionales (VAE). La parte del codificador de ambos modelos se utiliza para aprender una representación latente comprimida adecuada a partir de una sola imagen 2D, y un decodificador genera un modelo 3D correspondiente. Nuestra contribución es doble. En primer lugar, hasta donde saben los autores, es la primera vez que los autoencoders variacionales (VAE) se han utilizado para el problema de reconstrucción 3D. En segundo lugar, los modelos propuestos extraen un conjunto discriminativo de características y generan un modelo 3D más suave y de alta resolución. Para evaluar la eficacia del método propuesto, se han realizado experimentos en un conjunto de datos de benchmark de ShapeNet. Los resultados confirman que el método propuesto supera a los métodos de vanguardia.