Red de Pirámide Residual Semántica para la Restauración de Imágenes
Autores: Luo, Haiyin; Zheng, Yuhui
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Red de Pirámide Residual Semántica para la Restauración de Imágenes
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Inpainting de imágenes
Aprendizaje profundo
Red de Pirámide Residual Semántica
Modelo generativo
Decodificador de múltiples capas
Discriminadores
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los métodos existentes de inpainting de imágenes basados en aprendizaje profundo han progresado enormemente. Estos métodos generan imágenes que son semánticamente consistentes en contexto o visualmente excelentes, ignorando que tanto los efectos semánticos como visuales deben ser apreciados. En este artículo, proponemos una Red de Pirámide Residual Semántica (SRPNet) basada en un modelo generativo profundo para el inpainting de imágenes a nivel de imagen y características. Este método codifica una imagen enmascarada mediante un codificador de pirámide semántica residual y luego decodifica las características codificadas en una imagen inpainted mediante un decodificador de múltiples capas. En esta etapa, se utiliza una red de transferencia de atención de múltiples capas para llenar gradualmente las regiones faltantes de la imagen. Para generar imágenes semánticamente consistentes y visualmente superiores, se añaden discriminadores de múltiples escalas a la estructura de la red. Los discriminadores se dividen en discriminadores globales y locales, donde el discriminador global se utiliza para identificar la consistencia global de la imagen inpainted, y el discriminador local se utiliza para determinar la consistencia de las regiones faltantes de la imagen inpainted. Finalmente, realizamos experimentos en cuatro conjuntos de datos diferentes. Como resultado, se logró un gran rendimiento para llenar tanto las regiones faltantes regulares como irregulares.
Descripción
Los métodos existentes de inpainting de imágenes basados en aprendizaje profundo han progresado enormemente. Estos métodos generan imágenes que son semánticamente consistentes en contexto o visualmente excelentes, ignorando que tanto los efectos semánticos como visuales deben ser apreciados. En este artículo, proponemos una Red de Pirámide Residual Semántica (SRPNet) basada en un modelo generativo profundo para el inpainting de imágenes a nivel de imagen y características. Este método codifica una imagen enmascarada mediante un codificador de pirámide semántica residual y luego decodifica las características codificadas en una imagen inpainted mediante un decodificador de múltiples capas. En esta etapa, se utiliza una red de transferencia de atención de múltiples capas para llenar gradualmente las regiones faltantes de la imagen. Para generar imágenes semánticamente consistentes y visualmente superiores, se añaden discriminadores de múltiples escalas a la estructura de la red. Los discriminadores se dividen en discriminadores globales y locales, donde el discriminador global se utiliza para identificar la consistencia global de la imagen inpainted, y el discriminador local se utiliza para determinar la consistencia de las regiones faltantes de la imagen inpainted. Finalmente, realizamos experimentos en cuatro conjuntos de datos diferentes. Como resultado, se logró un gran rendimiento para llenar tanto las regiones faltantes regulares como irregulares.