IncreíbleFS: un marco de intercambio facial de video de alta fidelidad y resistente a la oclusión
Autores: Zeng, Zhiqiang; Shao, Wenhua; Tong, Dingli; Liu, Li
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
IncreíbleFS: un marco de intercambio facial de video de alta fidelidad y resistente a la oclusión
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Desafíos
Tecnologías de intercambio de rostros
Mecanismo de Atención Fuente-Objetivo
Módulo de transferencia de estilo AdaIN
Red AmazingSeg
Conjunto de datos AST
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 43
Citaciones: Sin citaciones
Las tecnologías actuales de intercambio facial de videos enfrentan desafíos como un ajuste facial deficiente y la incapacidad de manejar obstrucciones. Este documento presenta Amazing FaceSwap (AmazingFS), un marco novedoso para producir intercambios faciales de calidad cinematográfica y realistas. Las innovaciones clave incluyen el desarrollo de un Mecanismo de Atención de Origen-Destino (STAM) para mejorar la calidad del intercambio facial mientras se preservan las expresiones y poses faciales objetivo. También mejoramos el módulo de transferencia de estilo AdaIN para retener mejor las características de identidad de la cara de origen. Para abordar obstrucciones como el cabello y los lentes durante la síntesis de intercambio facial, creamos la red AmazingSeg y un pequeño conjunto de datos AST. Experimentos cualitativos y cuantitativos extensos demuestran que AmazingFS supera significativamente a otras redes del estado del arte, logrando resultados sorprendentes de intercambio facial.
Descripción
Las tecnologías actuales de intercambio facial de videos enfrentan desafíos como un ajuste facial deficiente y la incapacidad de manejar obstrucciones. Este documento presenta Amazing FaceSwap (AmazingFS), un marco novedoso para producir intercambios faciales de calidad cinematográfica y realistas. Las innovaciones clave incluyen el desarrollo de un Mecanismo de Atención de Origen-Destino (STAM) para mejorar la calidad del intercambio facial mientras se preservan las expresiones y poses faciales objetivo. También mejoramos el módulo de transferencia de estilo AdaIN para retener mejor las características de identidad de la cara de origen. Para abordar obstrucciones como el cabello y los lentes durante la síntesis de intercambio facial, creamos la red AmazingSeg y un pequeño conjunto de datos AST. Experimentos cualitativos y cuantitativos extensos demuestran que AmazingFS supera significativamente a otras redes del estado del arte, logrando resultados sorprendentes de intercambio facial.