Detección de noticias falsas multimodal a través de recuperación de evidencia y forense visual con grandes modelos de lenguaje y visión
Autores: Dong, Liwei; Chen, Yanli; Ke, Wei; Wu, Hanzhou; Deng, Lunzhi; Liao, Guixiang
Idioma: Inglés
Editor: MDPI
Año: 2026
Acceso abierto
Artículo científico
2026
Detección de noticias falsas multimodal a través de recuperación de evidencia y forense visual con grandes modelos de lenguaje y visión
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Noticias falsas
Detección de noticias falsas multimodal
MERF
LVLM
Recuperación de evidencia
Capacidades de razonamiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Las noticias falsas han causado un daño y una disrupción significativos en varios sectores de la sociedad. Con el rápido avance de Internet y las plataformas de redes sociales, tanto las comunidades académicas como las industriales han mostrado un creciente interés en la detección multimodal de noticias falsas. En este trabajo, proponemos MERF (Recuperación de Evidencias Multimodal y Forense con LVLM), un marco unificado para la detección multimodal de noticias falsas que aprovecha las capacidades de razonamiento de los Modelos de Lenguaje-Visión de Gran Escala (LVLM). Si bien los LVLM superan a los Modelos de Lenguaje de Gran Escala (LLM) tradicionales en el procesamiento de contenido multimodal, nuestro estudio revela que sus habilidades de razonamiento siguen siendo limitadas en ausencia de evidencia de apoyo suficiente. MERF aborda este desafío integrando la recuperación de contenido basado en la web, la búsqueda inversa de imágenes y la detección de manipulación de imágenes en un flujo de trabajo coherente, lo que permite al modelo generar juicios de veracidad informados y explicables. Específicamente, nuestro enfoque realiza una verificación de consistencia cruzada, recupera información corroborativa tanto para contenido textual como visual, y aplica análisis forense para detectar posibles falsificaciones visuales. La evidencia agregada se alimenta luego al LVLM, facilitando un razonamiento integral y una toma de decisiones basada en evidencia. Los resultados experimentales en dos conjuntos de datos de referencia públicos-Weibo y Twitter-demuestran que MERF supera consistentemente a las líneas base de última generación en todas las métricas de evaluación principales, logrando mejoras sustanciales en precisión, robustez e interpretabilidad.
Descripción
Las noticias falsas han causado un daño y una disrupción significativos en varios sectores de la sociedad. Con el rápido avance de Internet y las plataformas de redes sociales, tanto las comunidades académicas como las industriales han mostrado un creciente interés en la detección multimodal de noticias falsas. En este trabajo, proponemos MERF (Recuperación de Evidencias Multimodal y Forense con LVLM), un marco unificado para la detección multimodal de noticias falsas que aprovecha las capacidades de razonamiento de los Modelos de Lenguaje-Visión de Gran Escala (LVLM). Si bien los LVLM superan a los Modelos de Lenguaje de Gran Escala (LLM) tradicionales en el procesamiento de contenido multimodal, nuestro estudio revela que sus habilidades de razonamiento siguen siendo limitadas en ausencia de evidencia de apoyo suficiente. MERF aborda este desafío integrando la recuperación de contenido basado en la web, la búsqueda inversa de imágenes y la detección de manipulación de imágenes en un flujo de trabajo coherente, lo que permite al modelo generar juicios de veracidad informados y explicables. Específicamente, nuestro enfoque realiza una verificación de consistencia cruzada, recupera información corroborativa tanto para contenido textual como visual, y aplica análisis forense para detectar posibles falsificaciones visuales. La evidencia agregada se alimenta luego al LVLM, facilitando un razonamiento integral y una toma de decisiones basada en evidencia. Los resultados experimentales en dos conjuntos de datos de referencia públicos-Weibo y Twitter-demuestran que MERF supera consistentemente a las líneas base de última generación en todas las métricas de evaluación principales, logrando mejoras sustanciales en precisión, robustez e interpretabilidad.