Vae-clip: desvelando la decepción a través de modelos cruz-modales e integración multi-característica en la detección de noticias falsas multi-modales
Autores: Zhou, Yufeng; Pang, Aiping; Yu, Guang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Vae-clip: desvelando la decepción a través de modelos cruz-modales e integración multi-característica en la detección de noticias falsas multi-modales
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Desarrollo
Tecnología de internet
Noticias falsas
Multi-modal
Modelo de detección
Características semánticas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 40
Citaciones: Sin citaciones
Con el desarrollo de la tecnología de internet, las noticias falsas se han convertido en una colección multimodal. Los métodos actuales de detección de noticias no pueden extraer completamente la información semántica entre las modalidades y ignoran las propiedades de rumor de las noticias falsas, lo que dificulta lograr buenos resultados. Para abordar el problema de la identificación precisa de noticias falsas multimodales, proponemos el modelo de detección de noticias falsas multimodales Vae-Clip. El modelo utiliza el modelo pre-entrenado Clip para extraer conjuntamente características semánticas de la información de imagen y texto utilizando la información de texto como la señal supervisora, resolviendo el problema de la interacción semántica entre modalidades. Además, considerando los atributos de rumor de las noticias falsas, proponemos fusionar características semánticas con características de estilo de rumor utilizando fusión de múltiples características para mejorar el rendimiento de generalización del modelo. Utilizamos un autoencoder variacional para extraer características de estilo de rumor y combinamos características semánticas y características de rumor utilizando un mecanismo de atención para detectar noticias falsas. Se llevaron a cabo numerosos experimentos en cuatro conjuntos de datos compuestos principalmente por Weibo y Twitter, y los resultados muestran que el modelo propuesto puede identificar con precisión noticias falsas y es adecuado para la detección de noticias en escenarios complejos, con la mayor precisión alcanzando el 96,3%.
Descripción
Con el desarrollo de la tecnología de internet, las noticias falsas se han convertido en una colección multimodal. Los métodos actuales de detección de noticias no pueden extraer completamente la información semántica entre las modalidades y ignoran las propiedades de rumor de las noticias falsas, lo que dificulta lograr buenos resultados. Para abordar el problema de la identificación precisa de noticias falsas multimodales, proponemos el modelo de detección de noticias falsas multimodales Vae-Clip. El modelo utiliza el modelo pre-entrenado Clip para extraer conjuntamente características semánticas de la información de imagen y texto utilizando la información de texto como la señal supervisora, resolviendo el problema de la interacción semántica entre modalidades. Además, considerando los atributos de rumor de las noticias falsas, proponemos fusionar características semánticas con características de estilo de rumor utilizando fusión de múltiples características para mejorar el rendimiento de generalización del modelo. Utilizamos un autoencoder variacional para extraer características de estilo de rumor y combinamos características semánticas y características de rumor utilizando un mecanismo de atención para detectar noticias falsas. Se llevaron a cabo numerosos experimentos en cuatro conjuntos de datos compuestos principalmente por Weibo y Twitter, y los resultados muestran que el modelo propuesto puede identificar con precisión noticias falsas y es adecuado para la detección de noticias en escenarios complejos, con la mayor precisión alcanzando el 96,3%.