Detección de noticias falsas en redes sociales multimodales basada en el mecanismo de atención 1D-CCNet
Autores: Yan, Yuhan; Fu, Haiyan; Wu, Fan
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Detección de noticias falsas en redes sociales multimodales basada en el mecanismo de atención 1D-CCNet
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aumento
Contenido multimodal
Detección de noticias falsas
Características
Modalidades
Modelo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
Debido al explosivo aumento del contenido multimodal en las comunidades sociales en línea, el aprendizaje cruzado modal es crucial para la detección precisa de noticias falsas. Sin embargo, las técnicas actuales de detección de noticias falsas multimodales enfrentan desafíos para extraer características de múltiples modalidades y fusionar información cruzada modal, sin lograr explotar completamente las correlaciones y complementariedades entre las diferentes modalidades. Para abordar estos problemas, este documento propone un modelo de detección de noticias falsas basado en un mecanismo de atención CCNet unidimensional (1D-CCNet), llamado BTCM. Este método primero utiliza codificadores BERT y BLIP-2 para extraer características de texto e imagen. Luego, emplea el módulo de mecanismo de atención 1D-CCNet propuesto para procesar las secuencias de texto e imagen de entrada, mejorando los aspectos importantes de las características bimodales. Mientras tanto, este documento utiliza el modelo preentrenado BLIP-2 para la detección de objetos en imágenes, generando descripciones de imágenes y aumentando datos de texto para mejorar el conjunto de datos. Esta operación tiene como objetivo fortalecer aún más las correlaciones entre las diferentes modalidades. Finalmente, este documento propone un método de fusión de características cruzadas heterogéneo (HCFFM) para integrar características de imagen y texto. Se realizaron experimentos comparativos en tres conjuntos de datos públicos: Twitter, Weibo y Gossipcop. Los resultados muestran que el modelo propuesto logró un excelente rendimiento.
Descripción
Debido al explosivo aumento del contenido multimodal en las comunidades sociales en línea, el aprendizaje cruzado modal es crucial para la detección precisa de noticias falsas. Sin embargo, las técnicas actuales de detección de noticias falsas multimodales enfrentan desafíos para extraer características de múltiples modalidades y fusionar información cruzada modal, sin lograr explotar completamente las correlaciones y complementariedades entre las diferentes modalidades. Para abordar estos problemas, este documento propone un modelo de detección de noticias falsas basado en un mecanismo de atención CCNet unidimensional (1D-CCNet), llamado BTCM. Este método primero utiliza codificadores BERT y BLIP-2 para extraer características de texto e imagen. Luego, emplea el módulo de mecanismo de atención 1D-CCNet propuesto para procesar las secuencias de texto e imagen de entrada, mejorando los aspectos importantes de las características bimodales. Mientras tanto, este documento utiliza el modelo preentrenado BLIP-2 para la detección de objetos en imágenes, generando descripciones de imágenes y aumentando datos de texto para mejorar el conjunto de datos. Esta operación tiene como objetivo fortalecer aún más las correlaciones entre las diferentes modalidades. Finalmente, este documento propone un método de fusión de características cruzadas heterogéneo (HCFFM) para integrar características de imagen y texto. Se realizaron experimentos comparativos en tres conjuntos de datos públicos: Twitter, Weibo y Gossipcop. Los resultados muestran que el modelo propuesto logró un excelente rendimiento.