Generando retratos artísticos a partir de fotos de rostros con disentanglement de características y reconstrucción
Autores: Guo, Haoran; Ma, Zhe; Chen, Xuhesheng; Wang, Xukang; Xu, Jun; Zheng, Yangming
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Generando retratos artísticos a partir de fotos de rostros con disentanglement de características y reconstrucción
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes generativas adversarias
Retratos artísticos
Desentrañamiento de características
Técnicas de reconstrucción
Estilos artísticos
Generador de imágenes basado en U-Net
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
Generar retratos artísticos a partir de fotos de rostros presenta un desafío complejo que requiere síntesis de imágenes de alta calidad y una profunda comprensión del estilo artístico y de las características faciales. Los métodos tradicionales de redes generativas adversarias (GANs) han avanzado significativamente en la síntesis de imágenes; sin embargo, encuentran limitaciones en la generación de retratos artísticos, especialmente en la desentrañamiento sutil y la reconstrucción de características faciales y estilos artísticos. Este documento presenta un enfoque novedoso que supera estas limitaciones mediante el empleo de técnicas de desentrañamiento y reconstrucción de características, lo que permite la generación de retratos artísticos que retienen de manera más fiel la identidad y expresividad del sujeto, al tiempo que incorporan diversos estilos artísticos. Nuestro método integra seis componentes clave: un generador de imágenes basado en U-Net, un discriminador de imágenes, un módulo de desentrañamiento de características, un módulo de reconstrucción de características, un generador de información basado en U-Net y un módulo de fusión cruzada modal, trabajando en conjunto para transformar fotos de rostros en retratos artísticos. A través de experimentos extensos en el conjunto de datos APDrawing, nuestro enfoque demostró un rendimiento superior en calidad visual, logrando una reducción significativa en la puntuación de Distancia de Inception de Fréchet (FID) a 61.23, destacando su capacidad para generar retratos artísticos más realistas y diversos en comparación con los métodos existentes. Los estudios de ablación validaron aún más la efectividad de cada componente en nuestro método, subrayando la importancia del desentrañamiento y la reconstrucción de características en la mejora de la calidad artística de los retratos generados.
Descripción
Generar retratos artísticos a partir de fotos de rostros presenta un desafío complejo que requiere síntesis de imágenes de alta calidad y una profunda comprensión del estilo artístico y de las características faciales. Los métodos tradicionales de redes generativas adversarias (GANs) han avanzado significativamente en la síntesis de imágenes; sin embargo, encuentran limitaciones en la generación de retratos artísticos, especialmente en la desentrañamiento sutil y la reconstrucción de características faciales y estilos artísticos. Este documento presenta un enfoque novedoso que supera estas limitaciones mediante el empleo de técnicas de desentrañamiento y reconstrucción de características, lo que permite la generación de retratos artísticos que retienen de manera más fiel la identidad y expresividad del sujeto, al tiempo que incorporan diversos estilos artísticos. Nuestro método integra seis componentes clave: un generador de imágenes basado en U-Net, un discriminador de imágenes, un módulo de desentrañamiento de características, un módulo de reconstrucción de características, un generador de información basado en U-Net y un módulo de fusión cruzada modal, trabajando en conjunto para transformar fotos de rostros en retratos artísticos. A través de experimentos extensos en el conjunto de datos APDrawing, nuestro enfoque demostró un rendimiento superior en calidad visual, logrando una reducción significativa en la puntuación de Distancia de Inception de Fréchet (FID) a 61.23, destacando su capacidad para generar retratos artísticos más realistas y diversos en comparación con los métodos existentes. Los estudios de ablación validaron aún más la efectividad de cada componente en nuestro método, subrayando la importancia del desentrañamiento y la reconstrucción de características en la mejora de la calidad artística de los retratos generados.