Un modelo de red neuronal basado en aprendizaje contrastivo multi-vista supervisado y fusión de características en dos etapas para anti-spoofing facial
Autores: Li, Jin; Sun, Wenyun
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un modelo de red neuronal basado en aprendizaje contrastivo multi-vista supervisado y fusión de características en dos etapas para anti-spoofing facial
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Detección de rostros
Anti-spoofing facial
Red de múltiples ramas
Codificadores de mapas de frecuencia
Codificador de mapas de profundidad
Aprendizaje contrastivo supervisado multi-vista
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
Como una de las partes más cruciales de la detección facial, la precisión y la generalización del anti-spoofing facial son particularmente importantes. Por lo tanto, es necesario proponer una red de múltiples ramas para mejorar la precisión y generalización de la detección de ataques de suplantación desconocidos. Estas ramas consisten en varios codificadores de mapas de frecuencia y un codificador de mapas de profundidad. Estos codificadores se entrenan juntos. Aprovecha múltiples características de frecuencia y genera características de mapas de profundidad. El borde de alta frecuencia es beneficioso para capturar patrones de moiré, mientras que las características de baja frecuencia son sensibles a la distorsión del color. Los mapas de profundidad son más discriminativos que las imágenes RGB a nivel visual y sirven como información auxiliar útil. El Aprendizaje Contrastivo Multivista Supervisado mejora el aprendizaje de características multivista. Además, un método de fusión de características en dos etapas integra de manera efectiva las características de múltiples ramas. Los experimentos en cuatro conjuntos de datos públicos, a saber, CASIA-FASD, Replay-Attack, MSU-MFSD y OULU-NPU, demuestran la efectividad del modelo. La Tasa de Error Total Medio (HTER) promedio de nuestro modelo es un 4% (del 25% al 21%) más bajo que el método de Adaptación de Dominio Adversario en evaluaciones entre conjuntos.
Descripción
Como una de las partes más cruciales de la detección facial, la precisión y la generalización del anti-spoofing facial son particularmente importantes. Por lo tanto, es necesario proponer una red de múltiples ramas para mejorar la precisión y generalización de la detección de ataques de suplantación desconocidos. Estas ramas consisten en varios codificadores de mapas de frecuencia y un codificador de mapas de profundidad. Estos codificadores se entrenan juntos. Aprovecha múltiples características de frecuencia y genera características de mapas de profundidad. El borde de alta frecuencia es beneficioso para capturar patrones de moiré, mientras que las características de baja frecuencia son sensibles a la distorsión del color. Los mapas de profundidad son más discriminativos que las imágenes RGB a nivel visual y sirven como información auxiliar útil. El Aprendizaje Contrastivo Multivista Supervisado mejora el aprendizaje de características multivista. Además, un método de fusión de características en dos etapas integra de manera efectiva las características de múltiples ramas. Los experimentos en cuatro conjuntos de datos públicos, a saber, CASIA-FASD, Replay-Attack, MSU-MFSD y OULU-NPU, demuestran la efectividad del modelo. La Tasa de Error Total Medio (HTER) promedio de nuestro modelo es un 4% (del 25% al 21%) más bajo que el método de Adaptación de Dominio Adversario en evaluaciones entre conjuntos.