Adaptación de dominio unificado para la restauración de escenas interiores especializadas utilizando un modelo pre-entrenado
Autores: Akter, Asrafi; Lee, Myungho
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Adaptación de dominio unificado para la restauración de escenas interiores especializadas utilizando un modelo pre-entrenado
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Inpainting de imágenes
Entornos interiores
Red neuronal convolucional
Pérdidas perceptivas
Ponderación de pérdidas adaptativas
Adaptación de dominio
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
El relleno de imágenes para entornos interiores presenta desafíos únicos debido a complejas relaciones espaciales, diversas condiciones de iluminación y configuraciones de objetos específicas del dominio. Este trabajo presenta un marco de postprocesamiento eficiente en recursos que mejora el relleno de imágenes específicas del dominio a través de un mecanismo de adaptación. Nuestra arquitectura integra una red neuronal convolucional con conexiones residuales optimizadas a través de una función objetivo de múltiples términos que combina pérdidas perceptuales y ponderación de pérdidas adaptativas. Los experimentos en nuestro conjunto de datos curado de 4000 escenas interiores domésticas demuestran un rendimiento mejorado, con un entrenamiento completado en 20 minutos en hardware de GPU de consumo con una latencia de inferencia de 0.14 s por imagen. El marco exhibe resultados mejorados en métricas estándar (FID, SSIM, LPIPS, MAE y PSNR), mostrando mejoras en coherencia estructural y calidad perceptual al tiempo que preserva las capacidades de generalización entre dominios. Nuestra metodología ofrece un enfoque novedoso para la adaptación de dominio eficiente en el relleno de imágenes, particularmente adecuado para aplicaciones del mundo real bajo limitaciones computacionales. Este trabajo avanza en el desarrollo de sistemas de restauración de imágenes conscientes del dominio y proporciona ideas arquitectónicas para marcos de procesamiento de imágenes especializados.
Descripción
El relleno de imágenes para entornos interiores presenta desafíos únicos debido a complejas relaciones espaciales, diversas condiciones de iluminación y configuraciones de objetos específicas del dominio. Este trabajo presenta un marco de postprocesamiento eficiente en recursos que mejora el relleno de imágenes específicas del dominio a través de un mecanismo de adaptación. Nuestra arquitectura integra una red neuronal convolucional con conexiones residuales optimizadas a través de una función objetivo de múltiples términos que combina pérdidas perceptuales y ponderación de pérdidas adaptativas. Los experimentos en nuestro conjunto de datos curado de 4000 escenas interiores domésticas demuestran un rendimiento mejorado, con un entrenamiento completado en 20 minutos en hardware de GPU de consumo con una latencia de inferencia de 0.14 s por imagen. El marco exhibe resultados mejorados en métricas estándar (FID, SSIM, LPIPS, MAE y PSNR), mostrando mejoras en coherencia estructural y calidad perceptual al tiempo que preserva las capacidades de generalización entre dominios. Nuestra metodología ofrece un enfoque novedoso para la adaptación de dominio eficiente en el relleno de imágenes, particularmente adecuado para aplicaciones del mundo real bajo limitaciones computacionales. Este trabajo avanza en el desarrollo de sistemas de restauración de imágenes conscientes del dominio y proporciona ideas arquitectónicas para marcos de procesamiento de imágenes especializados.