Relleno de Imagen de Alta Resolución Basado en Aumento Progresivo para DeepFill
Autores: Cui, Muzi; Jiang, Hao; Li, Chaozhuo
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Relleno de Imagen de Alta Resolución Basado en Aumento Progresivo para DeepFill
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Inpainting de imágenes
Redes generativas antagónicas
Características visuales globales
PA-DeepFill
Módulo basado en atención
Discriminador local
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La inpainting de imágenes tiene como objetivo sintetizar regiones faltantes en imágenes que sean coherentes con el contenido visual existente. Las redes generativas adversariales han logrado avances significativos en el desarrollo de la inpainting de imágenes. Sin embargo, los enfoques existentes dependen en gran medida de los píxeles circundantes, ignorando que los bordes pueden ser poco informativos o ruidosos, lo que lleva a imágenes borrosas. Como complemento, las características visuales globales de los contextos de imágenes remotas representan la estructura y textura general de las imágenes originales, contribuyendo a generar píxeles que se integren sin problemas con los elementos visuales existentes. En este artículo, proponemos un nuevo modelo, PA-DeepFill, para reparar imágenes de alta resolución. La red generadora sigue un nuevo paradigma de aprendizaje progresivo, comenzando con imágenes de baja resolución y mejorando gradualmente las resoluciones al apilar más capas. Se integra además un nuevo módulo basado en atención, el bloque de atención agrupada, en el generador para aprender de manera adaptativa la importancia de diferentes componentes visuales distantes. Además, hemos diseñado un discriminador local que es más adecuado para tareas de inpainting de imágenes, un discriminador local guiado por múltiples tareas a nivel de máscara basado en PatchGAN, que puede guiar al modelo para distinguir entre regiones de la imagen original y regiones completadas por el modelo con mayor granularidad. Este discriminador local puede capturar información local más detallada, mejorando así la capacidad discriminativa del modelo y resultando en imágenes inpainted más realistas y naturales. Nuestra propuesta se evalúa extensamente en conjuntos de datos populares, y los resultados experimentales demuestran la superioridad de nuestra propuesta.
Descripción
La inpainting de imágenes tiene como objetivo sintetizar regiones faltantes en imágenes que sean coherentes con el contenido visual existente. Las redes generativas adversariales han logrado avances significativos en el desarrollo de la inpainting de imágenes. Sin embargo, los enfoques existentes dependen en gran medida de los píxeles circundantes, ignorando que los bordes pueden ser poco informativos o ruidosos, lo que lleva a imágenes borrosas. Como complemento, las características visuales globales de los contextos de imágenes remotas representan la estructura y textura general de las imágenes originales, contribuyendo a generar píxeles que se integren sin problemas con los elementos visuales existentes. En este artículo, proponemos un nuevo modelo, PA-DeepFill, para reparar imágenes de alta resolución. La red generadora sigue un nuevo paradigma de aprendizaje progresivo, comenzando con imágenes de baja resolución y mejorando gradualmente las resoluciones al apilar más capas. Se integra además un nuevo módulo basado en atención, el bloque de atención agrupada, en el generador para aprender de manera adaptativa la importancia de diferentes componentes visuales distantes. Además, hemos diseñado un discriminador local que es más adecuado para tareas de inpainting de imágenes, un discriminador local guiado por múltiples tareas a nivel de máscara basado en PatchGAN, que puede guiar al modelo para distinguir entre regiones de la imagen original y regiones completadas por el modelo con mayor granularidad. Este discriminador local puede capturar información local más detallada, mejorando así la capacidad discriminativa del modelo y resultando en imágenes inpainted más realistas y naturales. Nuestra propuesta se evalúa extensamente en conjuntos de datos populares, y los resultados experimentales demuestran la superioridad de nuestra propuesta.