Un método de detección de DeepFake basado en Transformer para órganos faciales
Autores: Xue, Ziyu; Liu, Qingtong; Shi, Haichao; Zou, Ruoyu; Jiang, Xiuhua
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Un método de detección de DeepFake basado en Transformer para órganos faciales
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Detección de deepfakes
Modelo transformer
Detección de falsificación de órganos faciales
Manipulación de expresiones sutiles
Modificación de detalles faciales
Imágenes difuminadas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
En la actualidad, la detección de deepfakes en la manipulación de expresiones sutiles, modificación de detalles faciales e imágenes difuminadas se ha convertido en un tema de investigación candente. Los métodos existentes de detección de deepfakes en toda la cara son de grano grueso, donde los detalles faltan debido al tamaño manipulado insignificante de la imagen. Para abordar los problemas, proponemos construir un modelo transformador para un método de detección de deepfakes por órgano, para obtener las características de deepfake. Reducimos el peso de detección de órganos desfigurados o poco claros para priorizar la detección de órganos claros e intactos. Mientras tanto, para simular el entorno del mundo real, construimos un Conjunto de Datos de Prueba de Detección de Falsificación de Órganos Faciales (FOFDTD), que incluye imágenes de rostros con máscaras, rostros con gafas de sol y rostros sin decorar recopilados de la red. Los resultados experimentales en cuatro bancos de pruebas, es decir, FF++, DFD, DFDC-P, Celeb-DF, y para los conjuntos de datos FOFDTD, demostraron la efectividad de nuestro método propuesto.
Descripción
En la actualidad, la detección de deepfakes en la manipulación de expresiones sutiles, modificación de detalles faciales e imágenes difuminadas se ha convertido en un tema de investigación candente. Los métodos existentes de detección de deepfakes en toda la cara son de grano grueso, donde los detalles faltan debido al tamaño manipulado insignificante de la imagen. Para abordar los problemas, proponemos construir un modelo transformador para un método de detección de deepfakes por órgano, para obtener las características de deepfake. Reducimos el peso de detección de órganos desfigurados o poco claros para priorizar la detección de órganos claros e intactos. Mientras tanto, para simular el entorno del mundo real, construimos un Conjunto de Datos de Prueba de Detección de Falsificación de Órganos Faciales (FOFDTD), que incluye imágenes de rostros con máscaras, rostros con gafas de sol y rostros sin decorar recopilados de la red. Los resultados experimentales en cuatro bancos de pruebas, es decir, FF++, DFD, DFDC-P, Celeb-DF, y para los conjuntos de datos FOFDTD, demostraron la efectividad de nuestro método propuesto.