Eliminación de reflejos especulares supervisada débilmente utilizando solo imágenes de reflejos
Autores: Zheng, Yuanfeng; Hu, Guangwei; Jiang, Hao; Wang, Hao; Wu, Lihua
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Eliminación de reflejos especulares supervisada débilmente utilizando solo imágenes de reflejos
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Eliminación de reflejos especulares
Métodos basados en aprendizaje profundo
Supervisado débilmente
Factorización de matrices no negativas
Red Generativa Antagónica de Ciclo
Calidad de imagen
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 24
Citaciones: Sin citaciones
La eliminación de reflejos especulares es una tarea desafiante en el campo del mejoramiento de imágenes, ya que puede mejorar significativamente la calidad de la imagen en regiones resaltadas. Recientemente, los métodos basados en aprendizaje profundo han sido ampliamente adoptados en esta tarea, demostrando un excelente rendimiento al entrenar con datos emparejados masivos, donde están disponibles tanto las versiones resaltadas como libres de resaltado de la misma imagen, o conjuntos de datos no emparejados donde la correspondencia uno a uno no es aplicable. Sin embargo, es difícil obtener la versión correspondiente libre de resaltado de una imagen resaltada, ya que esta última ya ha sido producida bajo condiciones de iluminación específicas. En este documento, proponemos un método para la eliminación de reflejos especulares débilmente supervisado que solo requiere imágenes resaltadas. Este método implica generar imágenes libres de resaltado a partir de imágenes resaltadas con la guía de máscaras estimadas utilizando factorización de matrices no negativas (NMF). Estas imágenes libres de resaltado se alimentan consecutivamente en una serie de módulos derivados de una red estilo Generative Adversarial Network (GAN cíclico), a saber, los módulos de generación de resaltado, eliminación de resaltado y reconstrucción en orden secuencial. Estos módulos se entrenan conjuntamente, lo que resulta en un módulo de eliminación de resaltado altamente efectivo durante la verificación. En los cuádruples de imagen de resaltado especular (SHIQ) y en los conjuntos de datos LIME, nuestro método logra una precisión del 0,90 y una tasa de error de equilibrio (BER) del 8,6 en SHIQ, y una precisión del 0,89 y una BER del 9,1 en LIME, superando a los métodos existentes y demostrando su potencial para mejorar la calidad de la imagen en diversas aplicaciones.
Descripción
La eliminación de reflejos especulares es una tarea desafiante en el campo del mejoramiento de imágenes, ya que puede mejorar significativamente la calidad de la imagen en regiones resaltadas. Recientemente, los métodos basados en aprendizaje profundo han sido ampliamente adoptados en esta tarea, demostrando un excelente rendimiento al entrenar con datos emparejados masivos, donde están disponibles tanto las versiones resaltadas como libres de resaltado de la misma imagen, o conjuntos de datos no emparejados donde la correspondencia uno a uno no es aplicable. Sin embargo, es difícil obtener la versión correspondiente libre de resaltado de una imagen resaltada, ya que esta última ya ha sido producida bajo condiciones de iluminación específicas. En este documento, proponemos un método para la eliminación de reflejos especulares débilmente supervisado que solo requiere imágenes resaltadas. Este método implica generar imágenes libres de resaltado a partir de imágenes resaltadas con la guía de máscaras estimadas utilizando factorización de matrices no negativas (NMF). Estas imágenes libres de resaltado se alimentan consecutivamente en una serie de módulos derivados de una red estilo Generative Adversarial Network (GAN cíclico), a saber, los módulos de generación de resaltado, eliminación de resaltado y reconstrucción en orden secuencial. Estos módulos se entrenan conjuntamente, lo que resulta en un módulo de eliminación de resaltado altamente efectivo durante la verificación. En los cuádruples de imagen de resaltado especular (SHIQ) y en los conjuntos de datos LIME, nuestro método logra una precisión del 0,90 y una tasa de error de equilibrio (BER) del 8,6 en SHIQ, y una precisión del 0,89 y una BER del 9,1 en LIME, superando a los métodos existentes y demostrando su potencial para mejorar la calidad de la imagen en diversas aplicaciones.