Una red generadora adversaria con asistencia de rama estructural para la inpainting de imágenes
Autores: Wang, Jin; Jia, Dongli; Zhang, Heng
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Una red generadora adversaria con asistencia de rama estructural para la inpainting de imágenes
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje profundo
Inpainting de imágenes
Información previa estructural
Fusión de características
Atención de características
Consistencia
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
En las tareas de rellenado de imágenes digitales, los métodos de relleno de imágenes basados en el aprendizaje profundo han logrado resultados destacados al introducir información estructural previa en la red. Sin embargo, la relación correspondiente entre textura y estructura no se considera completamente, y la inconsistencia entre textura y estructura aparece en los resultados del método actual. En este documento, proponemos una red de doble rama con asistencia de rama estructural, que desacopla el rellenado de información de baja frecuencia y alta frecuencia utilizando ramas paralelas. Se introduce el módulo de fusión de características (FF) para integrar la información de características de las dos ramas, lo que garantiza efectivamente la consistencia de la estructura y la textura en la imagen. Se introduce el módulo de atención de características (FA) para extraer información de características a larga distancia, lo que mejora la consistencia entre las características locales de la imagen y la imagen en general y le da a la imagen una textura más detallada. Los experimentos en los conjuntos de datos de Paris StreetView y CelebA-HQ demuestran la efectividad y superioridad de nuestro método.
Descripción
En las tareas de rellenado de imágenes digitales, los métodos de relleno de imágenes basados en el aprendizaje profundo han logrado resultados destacados al introducir información estructural previa en la red. Sin embargo, la relación correspondiente entre textura y estructura no se considera completamente, y la inconsistencia entre textura y estructura aparece en los resultados del método actual. En este documento, proponemos una red de doble rama con asistencia de rama estructural, que desacopla el rellenado de información de baja frecuencia y alta frecuencia utilizando ramas paralelas. Se introduce el módulo de fusión de características (FF) para integrar la información de características de las dos ramas, lo que garantiza efectivamente la consistencia de la estructura y la textura en la imagen. Se introduce el módulo de atención de características (FA) para extraer información de características a larga distancia, lo que mejora la consistencia entre las características locales de la imagen y la imagen en general y le da a la imagen una textura más detallada. Los experimentos en los conjuntos de datos de Paris StreetView y CelebA-HQ demuestran la efectividad y superioridad de nuestro método.