AmazingFT: un marco basado en Transformer y GAN para intercambio realista de rostros
Autores: Liu, Li; Tong, Dingli; Shao, Wenhua; Zeng, Zhiqiang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
AmazingFT: un marco basado en Transformer y GAN para intercambio realista de rostros
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Intercambio de rostros
Falta de nitidez en los detalles
Artefactos
Redes Generativas Antagónicas
Transformadores
Imágenes de alta calidad
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 44
Citaciones: Sin citaciones
Los métodos actuales de intercambio de rostros a menudo sufren problemas de borrosidad en los detalles y artefactos al generar imágenes de alta calidad debido a la complejidad inherente en el procesamiento de detalles y mapeo de características. Para superar estos desafíos, este documento presenta el Amazing Face Transformer (AmazingFT), un modelo avanzado de intercambio de rostros construido sobre Redes Generativas Adversarias (GANs) y Transformers. El modelo está compuesto por tres módulos clave: el Módulo de Análisis Facial, que segmenta las regiones faciales y genera máscaras semánticas; el Módulo de Transformación de Características del Rostro Asombroso (ATM), que aprovecha los Transformers para extraer y transformar características de ambos rostros fuente y objetivo; y el Módulo de Generación de Rostros Asombrosos (AGM), que utiliza GANs para producir imágenes de rostros intercambiados de alta calidad. Los resultados experimentales demuestran que AmazingFT supera a los métodos existentes de vanguardia, mejorando significativamente la fidelidad de los detalles y el manejo de la oclusión, logrando en última instancia resultados de intercambio de rostros de calidad cinematográfica.
Descripción
Los métodos actuales de intercambio de rostros a menudo sufren problemas de borrosidad en los detalles y artefactos al generar imágenes de alta calidad debido a la complejidad inherente en el procesamiento de detalles y mapeo de características. Para superar estos desafíos, este documento presenta el Amazing Face Transformer (AmazingFT), un modelo avanzado de intercambio de rostros construido sobre Redes Generativas Adversarias (GANs) y Transformers. El modelo está compuesto por tres módulos clave: el Módulo de Análisis Facial, que segmenta las regiones faciales y genera máscaras semánticas; el Módulo de Transformación de Características del Rostro Asombroso (ATM), que aprovecha los Transformers para extraer y transformar características de ambos rostros fuente y objetivo; y el Módulo de Generación de Rostros Asombrosos (AGM), que utiliza GANs para producir imágenes de rostros intercambiados de alta calidad. Los resultados experimentales demuestran que AmazingFT supera a los métodos existentes de vanguardia, mejorando significativamente la fidelidad de los detalles y el manejo de la oclusión, logrando en última instancia resultados de intercambio de rostros de calidad cinematográfica.