Red Generativa Antagónica Atenta con Doble Codificador-Decodificador para la Eliminación de Sombras
Autores: Wang, He; Zou, Hua; Zhang, Dengyi
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Red Generativa Antagónica Atenta con Doble Codificador-Decodificador para la Eliminación de Sombras
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Eliminación de sombras
Restauración de imágenes
Red Generativa Antagónica
Detección de sombras
Mantenimiento de consistencia
Red Neuronal Recurrente
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La eliminación de sombras es una tarea fundamental que tiene como objetivo restaurar las áreas oscuras en una imagen donde la fuente de luz está bloqueada por un objeto opaco, para mejorar la visibilidad de las áreas sombreadas. Los métodos existentes de eliminación de sombras se han desarrollado durante décadas y han dado muchos resultados prometedores, pero la mayoría de ellos son deficientes en mantener la consistencia entre las regiones sombreadas y las regiones sin sombras, lo que resulta en artefactos obvios en las áreas restauradas. En este artículo, proponemos un método de dos etapas (es decir, detección de sombras y eliminación de sombras) basado en la Red Generativa Antagónica (GAN) para eliminar sombras. En la etapa de detección de sombras, se entrena una Red Neuronal Recurrente (RNN) para obtener el mapa de atención de las áreas sombreadas. Luego, el mapa de atención se inyecta tanto en el generador como en el discriminador para guiar la etapa de eliminación de sombras. El generador es un codificador-decodificador dual que procesa las regiones sombreadas y las regiones sin sombras por separado para reducir la inconsistencia. Toda la red se entrena con una pérdida de reconstrucción variante espacial junto con la pérdida de la GAN para hacer que las imágenes recuperadas sean más naturales. Además, se propone una nueva pérdida perceptual a nivel de características para asegurar que las imágenes mejoradas sean más similares a las verdades fundamentales. Métricas cuantitativas como PSNR y SSIM en el conjunto de datos ISTD demuestran que nuestro método supera a otros métodos comparados. Mientras tanto, la comparación cualitativa muestra que nuestro enfoque puede evitar eficazmente los artefactos en las áreas sombreadas restauradas mientras mantiene la consistencia estructural entre las regiones sombreadas y las regiones sin sombras.
Descripción
La eliminación de sombras es una tarea fundamental que tiene como objetivo restaurar las áreas oscuras en una imagen donde la fuente de luz está bloqueada por un objeto opaco, para mejorar la visibilidad de las áreas sombreadas. Los métodos existentes de eliminación de sombras se han desarrollado durante décadas y han dado muchos resultados prometedores, pero la mayoría de ellos son deficientes en mantener la consistencia entre las regiones sombreadas y las regiones sin sombras, lo que resulta en artefactos obvios en las áreas restauradas. En este artículo, proponemos un método de dos etapas (es decir, detección de sombras y eliminación de sombras) basado en la Red Generativa Antagónica (GAN) para eliminar sombras. En la etapa de detección de sombras, se entrena una Red Neuronal Recurrente (RNN) para obtener el mapa de atención de las áreas sombreadas. Luego, el mapa de atención se inyecta tanto en el generador como en el discriminador para guiar la etapa de eliminación de sombras. El generador es un codificador-decodificador dual que procesa las regiones sombreadas y las regiones sin sombras por separado para reducir la inconsistencia. Toda la red se entrena con una pérdida de reconstrucción variante espacial junto con la pérdida de la GAN para hacer que las imágenes recuperadas sean más naturales. Además, se propone una nueva pérdida perceptual a nivel de características para asegurar que las imágenes mejoradas sean más similares a las verdades fundamentales. Métricas cuantitativas como PSNR y SSIM en el conjunto de datos ISTD demuestran que nuestro método supera a otros métodos comparados. Mientras tanto, la comparación cualitativa muestra que nuestro enfoque puede evitar eficazmente los artefactos en las áreas sombreadas restauradas mientras mantiene la consistencia estructural entre las regiones sombreadas y las regiones sin sombras.