Cecl-net: red de aprendizaje complementario impulsada por aprendizaje contrastivo y reconstrucción de bordes para la localización de falsificaciones de imágenes
Autores: Dai, Gaoyuan; Chen, Kai; Huang, Linjie; Chen, Longru; An, Dongping; Wang, Zhe; Wang, Kai
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Cecl-net: red de aprendizaje complementario impulsada por aprendizaje contrastivo y reconstrucción de bordes para la localización de falsificaciones de imágenes
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Detección de falsificaciones de imágenes
Modelos de aprendizaje profundo
Red de aprendizaje complementario
Aprendizaje contrastivo
Reconstrucción de bordes
Extracción de características
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 45
Citaciones: Sin citaciones
Si bien la mayoría de los modelos actuales de aprendizaje profundo para la localización de falsificaciones de imágenes (IFL) se centran principalmente en el primer plano de las imágenes manipuladas, a menudo descuidan la información semántica de fondo complementaria esencial. Esta falta tiende a crear brechas significativas en la capacidad de estos modelos para interpretar y comprender a fondo una imagen manipulada, limitando así su efectividad en extraer rastros críticos de manipulación. Dado lo anterior, este documento presenta una red de aprendizaje complementario impulsada por aprendizaje contrastivo y reconstrucción de bordes (CECL-Net) para la localización de falsificaciones de imágenes. CECL-Net mejora la comprensión de las imágenes manipuladas al emplear una estrategia de aprendizaje complementaria que aprovecha las características del primer plano y del fondo, donde un extractor de bordes único (EE) genera artefactos de bordes precisos, y la reconstrucción de características guiada por bordes (EGFR) utiliza los artefactos de bordes para reconstruir un conjunto completamente complementario de características del primer plano y del fondo. Para llevar a cabo el proceso de aprendizaje complementario de manera más eficiente, también introducimos un método de supervisión de contraste píxel a píxel (PCS) que atrae regiones consistentes en características mientras repele regiones diferentes. Además, proponemos una estrategia de fusión densa (DF) que utiliza mecanismos de atención multi-escala y mutua para extraer características más discriminativas y mejorar el poder representacional de CECL-Net. Los experimentos realizados en dos conjuntos de datos de referencia, un conjunto de datos manipulado por Inteligencia Artificial (IA) y dos conjuntos de datos de desafío reales, indican que nuestro CECL-Net supera a siete modelos de última generación en tres métricas de evaluación.
Descripción
Si bien la mayoría de los modelos actuales de aprendizaje profundo para la localización de falsificaciones de imágenes (IFL) se centran principalmente en el primer plano de las imágenes manipuladas, a menudo descuidan la información semántica de fondo complementaria esencial. Esta falta tiende a crear brechas significativas en la capacidad de estos modelos para interpretar y comprender a fondo una imagen manipulada, limitando así su efectividad en extraer rastros críticos de manipulación. Dado lo anterior, este documento presenta una red de aprendizaje complementario impulsada por aprendizaje contrastivo y reconstrucción de bordes (CECL-Net) para la localización de falsificaciones de imágenes. CECL-Net mejora la comprensión de las imágenes manipuladas al emplear una estrategia de aprendizaje complementaria que aprovecha las características del primer plano y del fondo, donde un extractor de bordes único (EE) genera artefactos de bordes precisos, y la reconstrucción de características guiada por bordes (EGFR) utiliza los artefactos de bordes para reconstruir un conjunto completamente complementario de características del primer plano y del fondo. Para llevar a cabo el proceso de aprendizaje complementario de manera más eficiente, también introducimos un método de supervisión de contraste píxel a píxel (PCS) que atrae regiones consistentes en características mientras repele regiones diferentes. Además, proponemos una estrategia de fusión densa (DF) que utiliza mecanismos de atención multi-escala y mutua para extraer características más discriminativas y mejorar el poder representacional de CECL-Net. Los experimentos realizados en dos conjuntos de datos de referencia, un conjunto de datos manipulado por Inteligencia Artificial (IA) y dos conjuntos de datos de desafío reales, indican que nuestro CECL-Net supera a siete modelos de última generación en tres métricas de evaluación.