Método de mejora de textura y geometría basado en optimización conjunta para la creación de contenido 3D basado en imágenes individuales
Autores: Park, Jisun; Kim, Moonhyeon; Kim, Jaesung; Kim, Wongyeom; Cho, Kyungeun
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Método de mejora de textura y geometría basado en optimización conjunta para la creación de contenido 3D basado en imágenes individuales
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Estudios
Mallas 3D
Generación
Generalización
Detalle
Textura
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 23
Citaciones: Sin citaciones
Estudios recientes han explorado la generación de mallas tridimensionales (3D) a partir de imágenes individuales. Un desafío clave en esta área es la dificultad de mejorar tanto la generalización como el detalle simultáneamente en la generación de mallas 3D. Para abordar este problema, los métodos existentes utilizan características de malla de resolución fija para entrenar redes para la generalización. Este enfoque es capaz de generar la forma 3D general sin limitaciones en las categorías de objetos. Sin embargo, la forma generada a menudo presenta una superficie borrosa y sufre de una resolución de textura subóptima debido a las características de malla de resolución fija. En este estudio, proponemos un método de optimización conjunto que mejora la geometría y la textura mediante la integración de la generación de mallas 3D generalizadas con una resolución de malla ajustable. Específicamente, aplicamos una técnica de remallado basada en renderización inversa que permite la estimación de mallas con formas complejas sin depender de estructuras de resolución fija. Después del remallado, mejoramos la textura para mejorar la calidad detallada de la malla remallada a través de un modelo de difusión de mejora de textura. Al separar las tareas de generalización, estimación detallada de geometría y mejora de textura y adaptar diferentes características objetivo para cada red específica, el método de optimización conjunto propuesto aborda efectivamente las características de objetos individuales, lo que resulta en un aumento de detalle de la superficie y la generación de texturas de alta calidad. Los resultados experimentales en los conjuntos de datos de Google Scanned Objects y ShapeNet demuestran que el método propuesto mejora significativamente la precisión de la estimación de geometría y textura 3D, evaluada por las métricas PSNR, SSIM, LPIPS y CD.
Descripción
Estudios recientes han explorado la generación de mallas tridimensionales (3D) a partir de imágenes individuales. Un desafío clave en esta área es la dificultad de mejorar tanto la generalización como el detalle simultáneamente en la generación de mallas 3D. Para abordar este problema, los métodos existentes utilizan características de malla de resolución fija para entrenar redes para la generalización. Este enfoque es capaz de generar la forma 3D general sin limitaciones en las categorías de objetos. Sin embargo, la forma generada a menudo presenta una superficie borrosa y sufre de una resolución de textura subóptima debido a las características de malla de resolución fija. En este estudio, proponemos un método de optimización conjunto que mejora la geometría y la textura mediante la integración de la generación de mallas 3D generalizadas con una resolución de malla ajustable. Específicamente, aplicamos una técnica de remallado basada en renderización inversa que permite la estimación de mallas con formas complejas sin depender de estructuras de resolución fija. Después del remallado, mejoramos la textura para mejorar la calidad detallada de la malla remallada a través de un modelo de difusión de mejora de textura. Al separar las tareas de generalización, estimación detallada de geometría y mejora de textura y adaptar diferentes características objetivo para cada red específica, el método de optimización conjunto propuesto aborda efectivamente las características de objetos individuales, lo que resulta en un aumento de detalle de la superficie y la generación de texturas de alta calidad. Los resultados experimentales en los conjuntos de datos de Google Scanned Objects y ShapeNet demuestran que el método propuesto mejora significativamente la precisión de la estimación de geometría y textura 3D, evaluada por las métricas PSNR, SSIM, LPIPS y CD.