Los Ojos: Una Fuente de Información para Detectar Deepfakes
Autores: Tchaptchet, Elisabeth; Tagne, Elie Fute; Acosta, Jaime; Rawat, Danda B.; Kamhoua, Charles
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Los Ojos: Una Fuente de Información para Detectar Deepfakes
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Fenómeno
Deepfakes
Imágenes
Detección
Método
Conjunto de datos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Actualmente, el fenómeno de los deepfakes se está volviendo cada vez más significativo, ya que permiten la creación de imágenes extremadamente realistas capaces de engañar a cualquiera gracias a herramientas de aprendizaje profundo basadas en redes generativas antagónicas (GAN). Estas imágenes se utilizan como fotos de perfil en redes sociales con la intención de sembrar discordia y perpetrar estafas a escala global. En este estudio, demostramos que estas imágenes pueden ser identificadas a través de varias imperfecciones presentes en los ojos sintetizados, como la forma irregular de la pupila y la diferencia entre los reflejos corneales de los dos ojos. Estos defectos son el resultado de la ausencia de restricciones físicas y fisiológicas en la mayoría de los modelos de GAN. Desarrollamos una arquitectura de dos niveles capaz de detectar estas imágenes falsas. Este enfoque comienza con un método de segmentación automática para las pupilas para verificar su forma, ya que las pupilas de imágenes reales tienen naturalmente una forma regular, típicamente redonda. A continuación, para todas las imágenes donde las pupilas no son regulares, se analiza toda la imagen para verificar los reflejos. Este paso implica pasar la imagen facial a través de una arquitectura que extrae y compara los reflejos especulares de las córneas de los dos ojos, asumiendo que los ojos de personas reales que observan una fuente de luz deberían reflejar lo mismo. Nuestros experimentos con un gran conjunto de datos de imágenes reales de los conjuntos de datos Flickr-FacesHQ y CelebA, así como imágenes falsas de StyleGAN2 y ProGAN, muestran la efectividad de nuestro método. Nuestros resultados experimentales en el conjunto de datos Flickr-Faces-HQ (FFHQ) y las imágenes generadas por StyleGAN2 demostraron que nuestro algoritmo logró una notable precisión de detección de 0.968 y una sensibilidad de 0.911. Además, el método tuvo una especificidad de 0.907 y una precisión de 0.90 para este mismo conjunto de datos. Y nuestros resultados experimentales en el conjunto de datos CelebA y las imágenes generadas por ProGAN también demostraron que nuestro algoritmo logró una precisión de detección de 0.870 y una sensibilidad de 0.901. Además, el método tuvo una especificidad de 0.807 y una precisión de 0.88 para este mismo conjunto de datos. Nuestro enfoque mantiene una buena estabilidad de las propiedades fisiológicas durante el aprendizaje profundo, haciéndolo tan robusto como algunos métodos de detección de deepfake de clase única. Los resultados de las pruebas en los conjuntos de datos seleccionados demuestran una mayor precisión en comparación con otros métodos.
Descripción
Actualmente, el fenómeno de los deepfakes se está volviendo cada vez más significativo, ya que permiten la creación de imágenes extremadamente realistas capaces de engañar a cualquiera gracias a herramientas de aprendizaje profundo basadas en redes generativas antagónicas (GAN). Estas imágenes se utilizan como fotos de perfil en redes sociales con la intención de sembrar discordia y perpetrar estafas a escala global. En este estudio, demostramos que estas imágenes pueden ser identificadas a través de varias imperfecciones presentes en los ojos sintetizados, como la forma irregular de la pupila y la diferencia entre los reflejos corneales de los dos ojos. Estos defectos son el resultado de la ausencia de restricciones físicas y fisiológicas en la mayoría de los modelos de GAN. Desarrollamos una arquitectura de dos niveles capaz de detectar estas imágenes falsas. Este enfoque comienza con un método de segmentación automática para las pupilas para verificar su forma, ya que las pupilas de imágenes reales tienen naturalmente una forma regular, típicamente redonda. A continuación, para todas las imágenes donde las pupilas no son regulares, se analiza toda la imagen para verificar los reflejos. Este paso implica pasar la imagen facial a través de una arquitectura que extrae y compara los reflejos especulares de las córneas de los dos ojos, asumiendo que los ojos de personas reales que observan una fuente de luz deberían reflejar lo mismo. Nuestros experimentos con un gran conjunto de datos de imágenes reales de los conjuntos de datos Flickr-FacesHQ y CelebA, así como imágenes falsas de StyleGAN2 y ProGAN, muestran la efectividad de nuestro método. Nuestros resultados experimentales en el conjunto de datos Flickr-Faces-HQ (FFHQ) y las imágenes generadas por StyleGAN2 demostraron que nuestro algoritmo logró una notable precisión de detección de 0.968 y una sensibilidad de 0.911. Además, el método tuvo una especificidad de 0.907 y una precisión de 0.90 para este mismo conjunto de datos. Y nuestros resultados experimentales en el conjunto de datos CelebA y las imágenes generadas por ProGAN también demostraron que nuestro algoritmo logró una precisión de detección de 0.870 y una sensibilidad de 0.901. Además, el método tuvo una especificidad de 0.807 y una precisión de 0.88 para este mismo conjunto de datos. Nuestro enfoque mantiene una buena estabilidad de las propiedades fisiológicas durante el aprendizaje profundo, haciéndolo tan robusto como algunos métodos de detección de deepfake de clase única. Los resultados de las pruebas en los conjuntos de datos seleccionados demuestran una mayor precisión en comparación con otros métodos.