Pintura antigua de retoque basada en realce de características de múltiples capas y percepción de frecuencia
Autores: Liu, Xiaotong; Wan, Jin; Wang, Nan; Wang, Yuting
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Pintura antigua de retoque basada en realce de características de múltiples capas y percepción de frecuencia
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
La restauración de imágenes
Pinturas antiguas
Información semántica
Red generativa adversaria
Percepción de frecuencia
Mejora de características.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
El relleno de imágenes tiene como objetivo restaurar la información dañada en las imágenes, mejorando su legibilidad y utilidad. Las pinturas antiguas, como un componente vital del arte tradicional, transmiten un profundo valor cultural y artístico, pero a menudo sufren diversos tipos de daños con el tiempo. Los métodos existentes de relleno de pinturas antiguas son insuficientes para extraer información semántica profunda, lo que resulta en la pérdida de características detalladas de alta frecuencia de la imagen reconstruida y en la inconsistencia entre la información semántica global y local. Para abordar estos problemas, este artículo propone un método de relleno de pinturas antiguas basado en una Red Generativa Adversaria (GAN) que utiliza un mejoramiento de características de múltiples capas y percepción de frecuencia, denominado MFGAN. En primer lugar, diseñamos un Codificador de Pirámide Residual (RPE), que extrae completamente las características semánticas profundas de las imágenes de pinturas antiguas y refuerza el procesamiento de los detalles de la imagen al combinar eficazmente el módulo de extracción de características profundas y la atención de canales. En segundo lugar, proponemos un Mecanismo Consciente de Frecuencia (FAM) para obtener las características perceptivas de alta frecuencia utilizando el módulo de atención de frecuencia, que captura los detalles de alta frecuencia y las características de textura de las pinturas antiguas al aumentar las conexiones de omisión entre las características de baja frecuencia y alta frecuencia, y proporciona más información de percepción de frecuencia. En tercer lugar, se diseña un Doble Discriminador (DD) para garantizar la consistencia de la información semántica entre las imágenes de regiones globales y locales, al tiempo que se reduce la discontinuidad y las diferencias borrosas en el límite durante el relleno de imágenes. Finalmente, experimentos extensos en los conjuntos de datos propuestos de pinturas antiguas y Huaniao muestran que nuestro método propuesto supera a los métodos competitivos de relleno de imágenes y muestra capacidades de generalización robustas.
Descripción
El relleno de imágenes tiene como objetivo restaurar la información dañada en las imágenes, mejorando su legibilidad y utilidad. Las pinturas antiguas, como un componente vital del arte tradicional, transmiten un profundo valor cultural y artístico, pero a menudo sufren diversos tipos de daños con el tiempo. Los métodos existentes de relleno de pinturas antiguas son insuficientes para extraer información semántica profunda, lo que resulta en la pérdida de características detalladas de alta frecuencia de la imagen reconstruida y en la inconsistencia entre la información semántica global y local. Para abordar estos problemas, este artículo propone un método de relleno de pinturas antiguas basado en una Red Generativa Adversaria (GAN) que utiliza un mejoramiento de características de múltiples capas y percepción de frecuencia, denominado MFGAN. En primer lugar, diseñamos un Codificador de Pirámide Residual (RPE), que extrae completamente las características semánticas profundas de las imágenes de pinturas antiguas y refuerza el procesamiento de los detalles de la imagen al combinar eficazmente el módulo de extracción de características profundas y la atención de canales. En segundo lugar, proponemos un Mecanismo Consciente de Frecuencia (FAM) para obtener las características perceptivas de alta frecuencia utilizando el módulo de atención de frecuencia, que captura los detalles de alta frecuencia y las características de textura de las pinturas antiguas al aumentar las conexiones de omisión entre las características de baja frecuencia y alta frecuencia, y proporciona más información de percepción de frecuencia. En tercer lugar, se diseña un Doble Discriminador (DD) para garantizar la consistencia de la información semántica entre las imágenes de regiones globales y locales, al tiempo que se reduce la discontinuidad y las diferencias borrosas en el límite durante el relleno de imágenes. Finalmente, experimentos extensos en los conjuntos de datos propuestos de pinturas antiguas y Huaniao muestran que nuestro método propuesto supera a los métodos competitivos de relleno de imágenes y muestra capacidades de generalización robustas.