Agregue: enfoque de detección de DeepFake basado en la atención
Autores: Khormali, Aminollah; Yuan, Jiann-Shiun
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Agregue: enfoque de detección de DeepFake basado en la atención
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Avances
Redes Generativas Adversarias
Riesgos de privacidad
DeepFakes
Algoritmos de detección de DeepFake
Método ADD
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
Los avances recientes de las Redes Generativas Adversariales (GANs) plantean riesgos de privacidad emergentes pero graves que amenazan la integridad y confiabilidad de los medios digitales, específicamente de los videos digitales, a través de la síntesis de imágenes y videos hiperrealistas, es decir, DeepFakes. La necesidad de asegurar la confiabilidad de los medios digitales requiere algoritmos de detección automática pero precisos de DeepFakes. Este documento presenta un método de detección de DeepFakes basado en la atención (ADD) que explota los atributos de localidad fina y espacial de videos sintetizados artificialmente para una detección mejorada. El marco de trabajo de ADD está compuesto por dos componentes principales, incluidos los métodos de aumento de datos de primer plano y apagado de rostro, y es aplicable a cualquier clasificador basado en arquitectura de redes neuronales convolucionales. ADD primero localiza áreas potencialmente manipuladas de la imagen de entrada para extraer características representativas. En segundo lugar, el modelo de detección se ve obligado a prestar más atención a estas regiones de falsificación en el proceso de toma de decisiones mediante un enfoque particular en la interpretación de la muestra en la fase de aprendizaje. El rendimiento de ADD se evalúa frente a dos conjuntos de datos desafiantes de forenses de DeepFakes, es decir, Celeb-DF (V2) y WildDeepFake. Demostramos la generalización de ADD evaluando cuatro clasificadores populares, a saber, VGGNet, ResNet, Xception y MobileNet. Los resultados obtenidos demuestran que ADD puede mejorar significativamente el rendimiento de detección de los cuatro clasificadores base en ambos conjuntos de datos de referencia. En particular, ADD con ResNet como base detecta DeepFakes con más del 98,3% en Celeb-DF (V2), superando a los métodos de detección de DeepFakes de última generación.
Descripción
Los avances recientes de las Redes Generativas Adversariales (GANs) plantean riesgos de privacidad emergentes pero graves que amenazan la integridad y confiabilidad de los medios digitales, específicamente de los videos digitales, a través de la síntesis de imágenes y videos hiperrealistas, es decir, DeepFakes. La necesidad de asegurar la confiabilidad de los medios digitales requiere algoritmos de detección automática pero precisos de DeepFakes. Este documento presenta un método de detección de DeepFakes basado en la atención (ADD) que explota los atributos de localidad fina y espacial de videos sintetizados artificialmente para una detección mejorada. El marco de trabajo de ADD está compuesto por dos componentes principales, incluidos los métodos de aumento de datos de primer plano y apagado de rostro, y es aplicable a cualquier clasificador basado en arquitectura de redes neuronales convolucionales. ADD primero localiza áreas potencialmente manipuladas de la imagen de entrada para extraer características representativas. En segundo lugar, el modelo de detección se ve obligado a prestar más atención a estas regiones de falsificación en el proceso de toma de decisiones mediante un enfoque particular en la interpretación de la muestra en la fase de aprendizaje. El rendimiento de ADD se evalúa frente a dos conjuntos de datos desafiantes de forenses de DeepFakes, es decir, Celeb-DF (V2) y WildDeepFake. Demostramos la generalización de ADD evaluando cuatro clasificadores populares, a saber, VGGNet, ResNet, Xception y MobileNet. Los resultados obtenidos demuestran que ADD puede mejorar significativamente el rendimiento de detección de los cuatro clasificadores base en ambos conjuntos de datos de referencia. En particular, ADD con ResNet como base detecta DeepFakes con más del 98,3% en Celeb-DF (V2), superando a los métodos de detección de DeepFakes de última generación.