Frecuencia de red residual filtrada para la detección de deepfakes
Autores: Wang, Bo; Wu, Xiaohan; Tang, Yeling; Ma, Yanyan; Shan, Zihao; Wei, Fei
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Frecuencia de red residual filtrada para la detección de deepfakes
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Deepfake
Detección
Imágenes de baja calidad
Proceso de compresión
Dominio de frecuencia
Dominio RGB
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 23
Citaciones: Sin citaciones
A medida que deepfake se vuelve más sofisticado, la demanda de detección de imágenes faciales falsas está aumentando. Aunque se ha logrado un gran progreso en la detección de deepfake, el rendimiento de la mayoría de los métodos de detección de deepfake existentes disminuye significativamente cuando se aplican para detectar imágenes de baja calidad debido a la desaparición de pistas clave durante el proceso de compresión. En este trabajo, extraemos información de dominio de frecuencia y dominio RGB para mejorar específicamente la detección de imágenes de deepfake comprimidas de baja calidad. Nuestro método consta de dos módulos: (1) un módulo de preprocesamiento y (2) un módulo de clasificación. En el módulo de preprocesamiento, utilizamos la transformada wavelet de Haar y el cálculo residual para obtener la información conjunta de frecuencia media-alta y fusionamos el mapa de frecuencia con la entrada RGB. En el módulo de clasificación, la imagen obtenida por concatenación se alimenta a la red neuronal convolucional para la clasificación. Debido a la combinación de RGB y dominio de frecuencia, la robustez del modelo se ha mejorado significativamente. Nuestros extensos resultados experimentales demuestran que nuestro enfoque no solo puede lograr un excelente rendimiento al detectar imágenes de deepfake comprimidas de baja calidad, sino que también mantiene un gran rendimiento con imágenes de alta calidad.
Descripción
A medida que deepfake se vuelve más sofisticado, la demanda de detección de imágenes faciales falsas está aumentando. Aunque se ha logrado un gran progreso en la detección de deepfake, el rendimiento de la mayoría de los métodos de detección de deepfake existentes disminuye significativamente cuando se aplican para detectar imágenes de baja calidad debido a la desaparición de pistas clave durante el proceso de compresión. En este trabajo, extraemos información de dominio de frecuencia y dominio RGB para mejorar específicamente la detección de imágenes de deepfake comprimidas de baja calidad. Nuestro método consta de dos módulos: (1) un módulo de preprocesamiento y (2) un módulo de clasificación. En el módulo de preprocesamiento, utilizamos la transformada wavelet de Haar y el cálculo residual para obtener la información conjunta de frecuencia media-alta y fusionamos el mapa de frecuencia con la entrada RGB. En el módulo de clasificación, la imagen obtenida por concatenación se alimenta a la red neuronal convolucional para la clasificación. Debido a la combinación de RGB y dominio de frecuencia, la robustez del modelo se ha mejorado significativamente. Nuestros extensos resultados experimentales demuestran que nuestro enfoque no solo puede lograr un excelente rendimiento al detectar imágenes de deepfake comprimidas de baja calidad, sino que también mantiene un gran rendimiento con imágenes de alta calidad.