Investigación sobre el método de relleno de imágenes faciales de alta resolución basado en StyleGAN
Autores: He, Libo; Qiang, Zhenping; Shao, Xiaofeng; Lin, Hong; Wang, Meijiao; Dai, Fei
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Investigación sobre el método de relleno de imágenes faciales de alta resolución basado en StyleGAN
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Reconocimiento de imágenes faciales
Imágenes faciales
Procesamiento de imágenes
Red de aprendizaje profundo
Completación de imágenes faciales de alta resolución
Modelo StyleGAN
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
En el reconocimiento de imágenes faciales y otras aplicaciones relacionadas, la imagen facial incompleta debido a factores de oscurecimiento durante la adquisición representa un problema que requiere solución. Dirigida a abordar este problema, la investigación en torno a la completación de imágenes faciales se ha convertido en un tema importante en el campo del procesamiento de imágenes. Los métodos de completación de imágenes faciales requieren la capacidad de capturar la semántica de la expresión facial. Se ha demostrado ampliamente que una red de aprendizaje profundo tiene esta capacidad. Sin embargo, para la completación de imágenes faciales de alta resolución, el entrenamiento de red de inpainting de imágenes de alta resolución es difícil de converger, lo que convierte la completación de imágenes faciales de alta resolución en un problema difícil. Basándose en el estudio del modelo de aprendizaje profundo de generación de imágenes faciales de alta resolución, este documento propone un método de inpainting de rostros de alta resolución. Primero, nuestro método extrae el vector latente de la imagen facial a reparar a través de ResNet, luego introduce el vector latente al modelo StyleGAN pre-entrenado para generar la imagen facial. A continuación, calcula la pérdida entre la parte conocida de la imagen facial a reparar y la parte correspondiente de la imaginería facial generada. Después, el vector latente se corta para generar una nueva imagen facial de forma iterativa hasta alcanzar el número de iteraciones. Finalmente, se emplea el método de fusión de Poisson para procesar la última imagen facial generada y la imagen facial a reparar con el fin de eliminar la diferencia en la información del color del borde de la imagen reparada. A través de la comparación y análisis entre dos métodos clásicos de completación facial en los últimos años en el conjunto de datos CelebA-HQ, descubrimos que nuestro método puede lograr mejores resultados de completación de imágenes faciales de alta resolución. Para la restauración de imágenes faciales de alta resolución, también hemos realizado un gran número de experimentos, que prueban la efectividad de nuestro método. Nuestro método puede obtener una variedad de resultados de reparación editando el vector latente. Además, nuestro método puede aplicarse con éxito a la edición de imágenes faciales, eliminación de marcas de agua en imágenes faciales y otras aplicaciones sin el proceso de entrenamiento de red de diferentes máscaras en estas aplicaciones.
Descripción
En el reconocimiento de imágenes faciales y otras aplicaciones relacionadas, la imagen facial incompleta debido a factores de oscurecimiento durante la adquisición representa un problema que requiere solución. Dirigida a abordar este problema, la investigación en torno a la completación de imágenes faciales se ha convertido en un tema importante en el campo del procesamiento de imágenes. Los métodos de completación de imágenes faciales requieren la capacidad de capturar la semántica de la expresión facial. Se ha demostrado ampliamente que una red de aprendizaje profundo tiene esta capacidad. Sin embargo, para la completación de imágenes faciales de alta resolución, el entrenamiento de red de inpainting de imágenes de alta resolución es difícil de converger, lo que convierte la completación de imágenes faciales de alta resolución en un problema difícil. Basándose en el estudio del modelo de aprendizaje profundo de generación de imágenes faciales de alta resolución, este documento propone un método de inpainting de rostros de alta resolución. Primero, nuestro método extrae el vector latente de la imagen facial a reparar a través de ResNet, luego introduce el vector latente al modelo StyleGAN pre-entrenado para generar la imagen facial. A continuación, calcula la pérdida entre la parte conocida de la imagen facial a reparar y la parte correspondiente de la imaginería facial generada. Después, el vector latente se corta para generar una nueva imagen facial de forma iterativa hasta alcanzar el número de iteraciones. Finalmente, se emplea el método de fusión de Poisson para procesar la última imagen facial generada y la imagen facial a reparar con el fin de eliminar la diferencia en la información del color del borde de la imagen reparada. A través de la comparación y análisis entre dos métodos clásicos de completación facial en los últimos años en el conjunto de datos CelebA-HQ, descubrimos que nuestro método puede lograr mejores resultados de completación de imágenes faciales de alta resolución. Para la restauración de imágenes faciales de alta resolución, también hemos realizado un gran número de experimentos, que prueban la efectividad de nuestro método. Nuestro método puede obtener una variedad de resultados de reparación editando el vector latente. Además, nuestro método puede aplicarse con éxito a la edición de imágenes faciales, eliminación de marcas de agua en imágenes faciales y otras aplicaciones sin el proceso de entrenamiento de red de diferentes máscaras en estas aplicaciones.