Un enfoque de atención de frecuencia dual basado en red de doble flujo para la forense de relleno de imágenes
Autores: Wang, Hongquan; Zhu, Xinshan; Ren, Chao; Zhang, Lan; Ma, Shugen
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un enfoque de atención de frecuencia dual basado en red de doble flujo para la forense de relleno de imágenes
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Desarrollo
Retoque digital de imágenes
FADS-Net
Red de doble flujo
Decodificador basado en atención
Extracción de características
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
El rápido desarrollo de la tecnología de relleno de imágenes digitales está causando un serio peligro oculto para la seguridad de la información multimedia. En este artículo, se propone una red profunda llamada red de doble flujo basada en atención de frecuencia (FADS-Net) para localizar la región de relleno. FADS-Net está compuesta por un codificador de doble flujo y un decodificador asociativo azul basado en atención. El codificador de doble flujo incluye dos flujos de extracción de características, el flujo de entrada cruda (RIS) y el flujo de recalibración de frecuencia (FRS). RIS captura directamente mapas de características de la entrada cruda, mientras que FRS realiza la extracción de características después de recalibrar la entrada a través del aprendizaje en el dominio de la frecuencia. Además, se diseña un módulo basado en conexiones densas para garantizar una extracción eficiente y una fusión completa de las características de doble flujo. El decodificador asociativo basado en atención consta de un decodificador principal y dos decodificadores de rama. El decodificador principal realiza el muestreo ascendente y el ajuste fino de las características fusionadas utilizando mecanismos de atención y conexiones de salto, y finalmente genera la máscara predicha para la imagen rellenada. Luego, se utilizan dos decodificadores de rama para supervisar aún más el entrenamiento de los dos flujos de características, asegurando que ambos funcionen de manera efectiva. Se diseña una función de pérdida conjunta para supervisar el entrenamiento de toda la red y los dos flujos de extracción de características para garantizar un rendimiento forense óptimo. Los extensos resultados experimentales demuestran que el FADS-Net propuesto logra una precisión y robustez de localización superiores en múltiples conjuntos de datos en comparación con los métodos forenses de relleno de imágenes más avanzados.
Descripción
El rápido desarrollo de la tecnología de relleno de imágenes digitales está causando un serio peligro oculto para la seguridad de la información multimedia. En este artículo, se propone una red profunda llamada red de doble flujo basada en atención de frecuencia (FADS-Net) para localizar la región de relleno. FADS-Net está compuesta por un codificador de doble flujo y un decodificador asociativo azul basado en atención. El codificador de doble flujo incluye dos flujos de extracción de características, el flujo de entrada cruda (RIS) y el flujo de recalibración de frecuencia (FRS). RIS captura directamente mapas de características de la entrada cruda, mientras que FRS realiza la extracción de características después de recalibrar la entrada a través del aprendizaje en el dominio de la frecuencia. Además, se diseña un módulo basado en conexiones densas para garantizar una extracción eficiente y una fusión completa de las características de doble flujo. El decodificador asociativo basado en atención consta de un decodificador principal y dos decodificadores de rama. El decodificador principal realiza el muestreo ascendente y el ajuste fino de las características fusionadas utilizando mecanismos de atención y conexiones de salto, y finalmente genera la máscara predicha para la imagen rellenada. Luego, se utilizan dos decodificadores de rama para supervisar aún más el entrenamiento de los dos flujos de características, asegurando que ambos funcionen de manera efectiva. Se diseña una función de pérdida conjunta para supervisar el entrenamiento de toda la red y los dos flujos de extracción de características para garantizar un rendimiento forense óptimo. Los extensos resultados experimentales demuestran que el FADS-Net propuesto logra una precisión y robustez de localización superiores en múltiples conjuntos de datos en comparación con los métodos forenses de relleno de imágenes más avanzados.