Alta resolución de imagen de relleno basada en red neuronal multiescala
Autores: Sun, Tingzhu; Fang, Weidong; Chen, Wei; Yao, Yanxin; Bi, Fangming; Wu, Baolei
Idioma: Inglés
Editor: MDPI
Año: 2019
Acceso abierto
Artículo científico
2019
Alta resolución de imagen de relleno basada en red neuronal multiescala
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Inpainting de imágenes
Imágenes de alta resolución
Red neuronal
Restauración de detalles de textura
Escena de aplicación especial
Conjunto de datos de máscara
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
Aunque el relleno de imágenes basado en la red adversaria generativa (GAN) ha logrado grandes avances en precisión y velocidad en los últimos años, solo pueden procesar imágenes de baja resolución debido a limitaciones de memoria y dificultades en el entrenamiento. Para imágenes de alta resolución, las regiones rellenadas se vuelven borrosas y los límites desagradables se hacen visibles. Basados en la red generativa de imágenes avanzada actual, propusimos un novedoso método de relleno de imágenes de alta resolución basado en una red neuronal multi-escala. Este método es una red de dos etapas que incluye la reconstrucción de contenido y la restauración de detalles de textura. Después de mantener la textura borrosa visualmente creíble, restauramos los detalles más finos para producir un resultado de relleno más suave, claro y coherente. Luego proponemos una escena de aplicación especial de relleno de imágenes, es decir, eliminar los peatones redundantes en la imagen y garantizar la realidad de la restauración del fondo. Esto implica la detección de peatones, identificar los peatones redundantes y rellenarlos con el contenido aparentemente correcto. Para mejorar la precisión del relleno de imágenes en la escena de aplicación, propusimos un nuevo conjunto de datos de máscara, que recopiló los personajes en el conjunto de datos COCO como máscara. Finalmente, evaluamos nuestro método en los conjuntos de datos COCO y VOC. los resultados experimentales muestran que nuestro método puede producir resultados de relleno más claros y coherentes, especialmente para imágenes de alta resolución, y el conjunto de datos de máscara propuesto puede producir mejores resultados de relleno en la escena de aplicación especial.
Descripción
Aunque el relleno de imágenes basado en la red adversaria generativa (GAN) ha logrado grandes avances en precisión y velocidad en los últimos años, solo pueden procesar imágenes de baja resolución debido a limitaciones de memoria y dificultades en el entrenamiento. Para imágenes de alta resolución, las regiones rellenadas se vuelven borrosas y los límites desagradables se hacen visibles. Basados en la red generativa de imágenes avanzada actual, propusimos un novedoso método de relleno de imágenes de alta resolución basado en una red neuronal multi-escala. Este método es una red de dos etapas que incluye la reconstrucción de contenido y la restauración de detalles de textura. Después de mantener la textura borrosa visualmente creíble, restauramos los detalles más finos para producir un resultado de relleno más suave, claro y coherente. Luego proponemos una escena de aplicación especial de relleno de imágenes, es decir, eliminar los peatones redundantes en la imagen y garantizar la realidad de la restauración del fondo. Esto implica la detección de peatones, identificar los peatones redundantes y rellenarlos con el contenido aparentemente correcto. Para mejorar la precisión del relleno de imágenes en la escena de aplicación, propusimos un nuevo conjunto de datos de máscara, que recopiló los personajes en el conjunto de datos COCO como máscara. Finalmente, evaluamos nuestro método en los conjuntos de datos COCO y VOC. los resultados experimentales muestran que nuestro método puede producir resultados de relleno más claros y coherentes, especialmente para imágenes de alta resolución, y el conjunto de datos de máscara propuesto puede producir mejores resultados de relleno en la escena de aplicación especial.