Estrategia de fusión de imágenes multiexpuestas utilizando aprendizaje de traducción de imágenes mutuas con mapas de conmutación de entorno a escala múltiple
Autores: Go, Young-Ho; Lee, Seung-Hwan; Lee, Sung-Hak
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Estrategia de fusión de imágenes multiexpuestas utilizando aprendizaje de traducción de imágenes mutuas con mapas de conmutación de entorno a escala múltiple
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Rango dinámico
Síntesis HDR
CycleGAN
SMap
Calidad de imagen
Traducción de imagen
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 19
Citaciones: Sin citaciones
El rango dinámico de una imagen representa la diferencia entre sus áreas más oscuras y más brillantes, un concepto crucial en el procesamiento de imágenes digitales y la visión por computadora. A pesar de los avances en tecnología de visualización, replicar el amplio rango dinámico del sistema visual humano sigue siendo un desafío, lo que hace necesaria la síntesis de alto rango dinámico (HDR), combinando múltiples imágenes de bajo rango dinámico capturadas en niveles de exposición contrastantes para generar una sola imagen HDR que integre las regiones de exposición óptima. Los avances recientes en aprendizaje profundo han introducido enfoques innovadores para la generación de HDR, siendo el generador adversarial generativo cíclico-consistente (CycleGAN) el centro de atención debido a su robustez contra cambios de dominio y su capacidad para preservar el estilo del contenido mientras mejora la calidad de la imagen. Sin embargo, los métodos tradicionales de CycleGAN a menudo dependen de conjuntos de datos no emparejados, lo que limita su capacidad de preservación de detalles. Este estudio propone un modelo mejorado al incorporar un mapa de cambio (SMap) como un canal adicional en el generador de CycleGAN utilizando conjuntos de datos emparejados. El SMap se enfoca en regiones esenciales, guiando el aprendizaje ponderado para minimizar la pérdida de detalle durante la síntesis. El uso de imágenes traducidas para estimar la exposición media integra estas imágenes en la síntesis de HDR, reduciendo transiciones antinaturales y artefactos de halo que podrían ocurrir en los límites entre diversas exposiciones. La aplicación multicapa del algoritmo retinex captura variaciones de exposición, logrando una asignación de tonos natural y detallada. El módulo de traducción de imágenes mutuas propuesto extiende CycleGAN, demostrando un rendimiento superior en la fusión multiexposición y la traducción de imágenes, mejorando significativamente la calidad de imagen HDR. Los índices de evaluación de calidad de imagen utilizados son CPBDM, JNBM, LPC-SI, S3, JPEG_2000 y SSEQ, y el modelo propuesto muestra un rendimiento superior en comparación con los métodos existentes, registrando puntuaciones promedio de 0.6196, 15.4142, 0.9642, 0.2838, 80.239 y 25.054, respectivamente. Por lo tanto, basándose en resultados cualitativos y cuantitativos, este estudio demuestra la superioridad del modelo propuesto.
Descripción
El rango dinámico de una imagen representa la diferencia entre sus áreas más oscuras y más brillantes, un concepto crucial en el procesamiento de imágenes digitales y la visión por computadora. A pesar de los avances en tecnología de visualización, replicar el amplio rango dinámico del sistema visual humano sigue siendo un desafío, lo que hace necesaria la síntesis de alto rango dinámico (HDR), combinando múltiples imágenes de bajo rango dinámico capturadas en niveles de exposición contrastantes para generar una sola imagen HDR que integre las regiones de exposición óptima. Los avances recientes en aprendizaje profundo han introducido enfoques innovadores para la generación de HDR, siendo el generador adversarial generativo cíclico-consistente (CycleGAN) el centro de atención debido a su robustez contra cambios de dominio y su capacidad para preservar el estilo del contenido mientras mejora la calidad de la imagen. Sin embargo, los métodos tradicionales de CycleGAN a menudo dependen de conjuntos de datos no emparejados, lo que limita su capacidad de preservación de detalles. Este estudio propone un modelo mejorado al incorporar un mapa de cambio (SMap) como un canal adicional en el generador de CycleGAN utilizando conjuntos de datos emparejados. El SMap se enfoca en regiones esenciales, guiando el aprendizaje ponderado para minimizar la pérdida de detalle durante la síntesis. El uso de imágenes traducidas para estimar la exposición media integra estas imágenes en la síntesis de HDR, reduciendo transiciones antinaturales y artefactos de halo que podrían ocurrir en los límites entre diversas exposiciones. La aplicación multicapa del algoritmo retinex captura variaciones de exposición, logrando una asignación de tonos natural y detallada. El módulo de traducción de imágenes mutuas propuesto extiende CycleGAN, demostrando un rendimiento superior en la fusión multiexposición y la traducción de imágenes, mejorando significativamente la calidad de imagen HDR. Los índices de evaluación de calidad de imagen utilizados son CPBDM, JNBM, LPC-SI, S3, JPEG_2000 y SSEQ, y el modelo propuesto muestra un rendimiento superior en comparación con los métodos existentes, registrando puntuaciones promedio de 0.6196, 15.4142, 0.9642, 0.2838, 80.239 y 25.054, respectivamente. Por lo tanto, basándose en resultados cualitativos y cuantitativos, este estudio demuestra la superioridad del modelo propuesto.