Scl-dehaze: hacia la deshaze de imágenes del mundo real a través del aprendizaje de libro de códigos semi-supervisado
Autores: Cui, Tong; Dai, Qingyue; Zhang, Meng; Li, Kairu; Ji, Xiaofei
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Scl-dehaze: hacia la deshaze de imágenes del mundo real a través del aprendizaje de libro de códigos semi-supervisado
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Métodos existentes de deshaze
Escenas del mundo real
Aprendizaje de libro de códigos
Características del espacio latente
Proceso de recuperación de imagen
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 42
Citaciones: Sin citaciones
Los métodos existentes de eliminación de niebla tienen dificultades para tratar imágenes de niebla del mundo real, especialmente escenas con niebla espesa. Una de las principales razones es la falta de datos de pares del mundo real y priors robustos. Para mejorar la capacidad de eliminación de niebla en escenas del mundo real, proponemos un método de eliminación de niebla basado en aprendizaje de libro de códigos semi-supervisado. El libro de códigos se utiliza como un prior fuerte para guiar el proceso de recuperación de la imagen con niebla. Sin embargo, surgen los siguientes dos problemas cuando el libro de códigos se aplica a la tarea de eliminación de niebla de la imagen: (1) Las características del espacio latente obtenidas de la codificación de imágenes con niebla degradada sufren errores de coincidencia cuando se realiza la coincidencia de vecinos más cercanos. (2) Mantener un buen equilibrio entre la calidad de recuperación de la imagen y la fidelidad para imágenes densas con niebla degradada es difícil. Para reducir la tasa de error de coincidencia de vecinos más cercanos en la etapa de cuantificación de vectores de VQGAN, diseñamos el módulo transformador residual de doble atención de unidad (UDART) para corregir las características del espacio latente. El UDART puede hacer que las características latentes obtenidas de la etapa de codificación se acerquen a las de la imagen clara correspondiente. Para equilibrar la calidad y fidelidad del resultado de eliminación de niebla, diseñamos un módulo adaptativo de peso guiado por la densidad de niebla (HDGWA), que puede ajustar de forma adaptativa los pesos de conexión de salto multi-escala según la densidad de niebla. Además, utilizamos el profesor promedio, una estrategia de aprendizaje semi-supervisado, para cerrar la brecha de dominio entre datos sintéticos y del mundo real y mejorar la generalización del modelo en escenas del mundo real. Los experimentos comparativos muestran que nuestro método logra mejoras de 0.003, 2.646 y 0.019 sobre el segundo mejor método para las métricas sin referencia FADE, MUSIQ y DBCNN, respectivamente, en el conjunto de datos del mundo real URHI.
Descripción
Los métodos existentes de eliminación de niebla tienen dificultades para tratar imágenes de niebla del mundo real, especialmente escenas con niebla espesa. Una de las principales razones es la falta de datos de pares del mundo real y priors robustos. Para mejorar la capacidad de eliminación de niebla en escenas del mundo real, proponemos un método de eliminación de niebla basado en aprendizaje de libro de códigos semi-supervisado. El libro de códigos se utiliza como un prior fuerte para guiar el proceso de recuperación de la imagen con niebla. Sin embargo, surgen los siguientes dos problemas cuando el libro de códigos se aplica a la tarea de eliminación de niebla de la imagen: (1) Las características del espacio latente obtenidas de la codificación de imágenes con niebla degradada sufren errores de coincidencia cuando se realiza la coincidencia de vecinos más cercanos. (2) Mantener un buen equilibrio entre la calidad de recuperación de la imagen y la fidelidad para imágenes densas con niebla degradada es difícil. Para reducir la tasa de error de coincidencia de vecinos más cercanos en la etapa de cuantificación de vectores de VQGAN, diseñamos el módulo transformador residual de doble atención de unidad (UDART) para corregir las características del espacio latente. El UDART puede hacer que las características latentes obtenidas de la etapa de codificación se acerquen a las de la imagen clara correspondiente. Para equilibrar la calidad y fidelidad del resultado de eliminación de niebla, diseñamos un módulo adaptativo de peso guiado por la densidad de niebla (HDGWA), que puede ajustar de forma adaptativa los pesos de conexión de salto multi-escala según la densidad de niebla. Además, utilizamos el profesor promedio, una estrategia de aprendizaje semi-supervisado, para cerrar la brecha de dominio entre datos sintéticos y del mundo real y mejorar la generalización del modelo en escenas del mundo real. Los experimentos comparativos muestran que nuestro método logra mejoras de 0.003, 2.646 y 0.019 sobre el segundo mejor método para las métricas sin referencia FADE, MUSIQ y DBCNN, respectivamente, en el conjunto de datos del mundo real URHI.