Mejora de imagen con poca luz mediante la combinación de redes neuronales convolucionales y de transformadores
Autores: Yuan, Nianzeng; Zhao, Xingyun; Sun, Bangyong; Han, Wenjia; Tan, Jiahai; Duan, Tao; Gao, Xiaomei
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Mejora de imagen con poca luz mediante la combinación de redes neuronales convolucionales y de transformadores
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Red de mejora de imagen de poca luz
Transformador
CNN
Características globales
Características locales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
En un entorno de imagen con poca luz, la luz insuficiente reflejada por los objetos a menudo da como resultado imágenes insatisfactorias con degradaciones de bajo contraste, artefactos de ruido o distorsión de color. Las imágenes capturadas con poca luz suelen llevar a una calidad de percepción visual deficiente para observadores con deficiencia de color o normales. Para abordar los problemas anteriores, proponemos una red de mejora de imágenes con poca luz de extremo a extremo combinando un transformador y una CNN (red neuronal convolucional) para restaurar las imágenes de luz normales. Específicamente, la red de mejora propuesta está diseñada en una estructura en forma de U con varios bloques de fusión funcionales. Cada bloque de fusión incluye un tronco de transformador y un tronco de CNN, y esos dos troncos colaboran para extraer con precisión las características locales y globales. De esta manera, el tronco de transformador es responsable de aprender eficientemente información semántica global y capturar dependencias a largo plazo, mientras que el tronco de CNN es bueno para aprender características locales y enfocarse en características detalladas. Por lo tanto, la red de mejora propuesta puede capturar con precisión la información semántica integral de las imágenes con poca luz, lo que contribuye significativamente a recuperar las imágenes de luz normales. El método propuesto se compara cuantitativa y cualitativamente con los algoritmos populares actuales. Subjetivamente, nuestro método mejora significativamente el brillo de la imagen, suprime el ruido de la imagen y mantiene los detalles de textura y la información de color. Para métricas objetivas como la relación pico-señal-a-ruido (PSNR), similitud estructural (SSIM), similitud perceptual de imágenes (LPIPS), DeltaE y NIQE, nuestro método mejora los valores óptimos en 1.73 dB, 0.05, 0.043, 0.7939 y 0.6906, respectivamente, en comparación con otros métodos. Los resultados experimentales muestran que nuestro método propuesto puede resolver efectivamente los problemas de subexposición, interferencia de ruido e inconsistencia de color en imágenes microópticas, y tiene cierto valor de aplicación.
Descripción
En un entorno de imagen con poca luz, la luz insuficiente reflejada por los objetos a menudo da como resultado imágenes insatisfactorias con degradaciones de bajo contraste, artefactos de ruido o distorsión de color. Las imágenes capturadas con poca luz suelen llevar a una calidad de percepción visual deficiente para observadores con deficiencia de color o normales. Para abordar los problemas anteriores, proponemos una red de mejora de imágenes con poca luz de extremo a extremo combinando un transformador y una CNN (red neuronal convolucional) para restaurar las imágenes de luz normales. Específicamente, la red de mejora propuesta está diseñada en una estructura en forma de U con varios bloques de fusión funcionales. Cada bloque de fusión incluye un tronco de transformador y un tronco de CNN, y esos dos troncos colaboran para extraer con precisión las características locales y globales. De esta manera, el tronco de transformador es responsable de aprender eficientemente información semántica global y capturar dependencias a largo plazo, mientras que el tronco de CNN es bueno para aprender características locales y enfocarse en características detalladas. Por lo tanto, la red de mejora propuesta puede capturar con precisión la información semántica integral de las imágenes con poca luz, lo que contribuye significativamente a recuperar las imágenes de luz normales. El método propuesto se compara cuantitativa y cualitativamente con los algoritmos populares actuales. Subjetivamente, nuestro método mejora significativamente el brillo de la imagen, suprime el ruido de la imagen y mantiene los detalles de textura y la información de color. Para métricas objetivas como la relación pico-señal-a-ruido (PSNR), similitud estructural (SSIM), similitud perceptual de imágenes (LPIPS), DeltaE y NIQE, nuestro método mejora los valores óptimos en 1.73 dB, 0.05, 0.043, 0.7939 y 0.6906, respectivamente, en comparación con otros métodos. Los resultados experimentales muestran que nuestro método propuesto puede resolver efectivamente los problemas de subexposición, interferencia de ruido e inconsistencia de color en imágenes microópticas, y tiene cierto valor de aplicación.