Imagen de relleno con estructura de decodificación paralela para Internet del futuro
Autores: Zhao, Peng; Chen, Bowei; Fan, Xunli; Chen, Haipeng; Zhang, Yongxin
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Imagen de relleno con estructura de decodificación paralela para Internet del futuro
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Imagen inpainting
Internet del futuro
Métodos de aprendizaje profundo
GANs
Estructura de decodificación paralela
Diet-PEPSI
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 42
Citaciones: Sin citaciones
El inpainting de imágenes se beneficia mucho del futuro Internet, pero el costo de memoria y computacional en la codificación de características de imagen en métodos de aprendizaje profundo plantea grandes desafíos para este campo. En este documento, proponemos una estructura de decodificación paralela basada en GANs para el inpainting de imágenes, que comprende una red de codificación única y una red de decodificación paralela. Al agregar una unidad de decodificador extendido en paralelo para inpainting semántico (Diet-PEPSI) a la red de codificación, podemos emplear una nueva capa convolucional dilatada adaptativa a la tasa para compartir los pesos y generar dinámicamente mapas de características según la tasa de dilatación dada, lo que puede disminuir efectivamente el número de parámetros de capa convolucional. Para la red de decodificación compuesta por caminos ásperos y caminos de inpainting, proponemos el uso de un CAM mejorado para la reconstrucción en el decodificador que resulta en una transición suave en el borde de las áreas defectuosas. Para el discriminador, sustituimos el discriminador local con un discriminador de conjunto de regiones, que puede atacar la restricción de solo el cuadrado de recuperación, como áreas para los métodos tradicionales, con el entrenamiento robusto de una nueva función de pérdida. Los experimentos en CelebA y CelebA-HQ verifican la importancia del método propuesto en cuanto a la sobrecarga de recursos y el rendimiento de recuperación.
Descripción
El inpainting de imágenes se beneficia mucho del futuro Internet, pero el costo de memoria y computacional en la codificación de características de imagen en métodos de aprendizaje profundo plantea grandes desafíos para este campo. En este documento, proponemos una estructura de decodificación paralela basada en GANs para el inpainting de imágenes, que comprende una red de codificación única y una red de decodificación paralela. Al agregar una unidad de decodificador extendido en paralelo para inpainting semántico (Diet-PEPSI) a la red de codificación, podemos emplear una nueva capa convolucional dilatada adaptativa a la tasa para compartir los pesos y generar dinámicamente mapas de características según la tasa de dilatación dada, lo que puede disminuir efectivamente el número de parámetros de capa convolucional. Para la red de decodificación compuesta por caminos ásperos y caminos de inpainting, proponemos el uso de un CAM mejorado para la reconstrucción en el decodificador que resulta en una transición suave en el borde de las áreas defectuosas. Para el discriminador, sustituimos el discriminador local con un discriminador de conjunto de regiones, que puede atacar la restricción de solo el cuadrado de recuperación, como áreas para los métodos tradicionales, con el entrenamiento robusto de una nueva función de pérdida. Los experimentos en CelebA y CelebA-HQ verifican la importancia del método propuesto en cuanto a la sobrecarga de recursos y el rendimiento de recuperación.