Entrenamiento de pocos disparos de GAN para clasificación y segmentación de falsificaciones faciales basado en el enfoque de ajuste fino
Autores: Lin, Yih-Kai; Sun, Hao-Lun
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Entrenamiento de pocos disparos de GAN para clasificación y segmentación de falsificaciones faciales basado en el enfoque de ajuste fino
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Técnicas
Videos falsos
Aprendizaje profundo
Detección de falsificaciones
Enfoque basado en GAN
Segmentación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 42
Citaciones: Sin citaciones
Existen muchas técnicas para falsificar videos que pueden alterar el rostro en un video para que parezca otra persona. Este tipo de video falso ha causado una serie de crisis de seguridad de la información. Se han desarrollado muchos métodos de detección basados en aprendizaje profundo para estos métodos de falsificación. Estos métodos de detección requieren una gran cantidad de datos de entrenamiento y, por lo tanto, no pueden desarrollar detectores rápidamente cuando surgen nuevos métodos de falsificación. Además, la detección tradicional de falsificaciones se refiere a un clasificador que produce versiones reales o falsas de las imágenes de entrada. Si el detector puede producir una predicción del área falsa, es decir, una versión de segmentación de la detección de falsificaciones, será de gran ayuda para el trabajo forense. Por lo tanto, en este documento, proponemos un enfoque de aprendizaje profundo basado en GAN que permite la detección de regiones falsificadas utilizando un menor número de muestras de entrenamiento. La parte generadora de la arquitectura propuesta se utiliza para sintetizar una segmentación predicha que indica la falsedad de cada píxel. Para resolver el problema de clasificación, se utiliza un umbral en el porcentaje de píxeles falsos para decidir si la imagen de entrada es falsa. Para detectar videos falsos, se extraen fotogramas del video y se detecta si son falsos. Si el porcentaje de fotogramas falsos es mayor que un umbral dado, el video se clasifica como falso. En comparación con otros documentos, los resultados experimentales muestran que nuestro método tiene una mejor clasificación y segmentación.
Descripción
Existen muchas técnicas para falsificar videos que pueden alterar el rostro en un video para que parezca otra persona. Este tipo de video falso ha causado una serie de crisis de seguridad de la información. Se han desarrollado muchos métodos de detección basados en aprendizaje profundo para estos métodos de falsificación. Estos métodos de detección requieren una gran cantidad de datos de entrenamiento y, por lo tanto, no pueden desarrollar detectores rápidamente cuando surgen nuevos métodos de falsificación. Además, la detección tradicional de falsificaciones se refiere a un clasificador que produce versiones reales o falsas de las imágenes de entrada. Si el detector puede producir una predicción del área falsa, es decir, una versión de segmentación de la detección de falsificaciones, será de gran ayuda para el trabajo forense. Por lo tanto, en este documento, proponemos un enfoque de aprendizaje profundo basado en GAN que permite la detección de regiones falsificadas utilizando un menor número de muestras de entrenamiento. La parte generadora de la arquitectura propuesta se utiliza para sintetizar una segmentación predicha que indica la falsedad de cada píxel. Para resolver el problema de clasificación, se utiliza un umbral en el porcentaje de píxeles falsos para decidir si la imagen de entrada es falsa. Para detectar videos falsos, se extraen fotogramas del video y se detecta si son falsos. Si el porcentaje de fotogramas falsos es mayor que un umbral dado, el video se clasifica como falso. En comparación con otros documentos, los resultados experimentales muestran que nuestro método tiene una mejor clasificación y segmentación.