Análisis comparativo de redes neuronales gráficas y transformadores para una detección robusta de noticias falsas: un estudio de verificación y reimplementación
Autores: Kuntur, Soveatin; Krzywda, Maciej; Wróblewska, Anna; Paprzycki, Marcin; Ganzha, Maria
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Análisis comparativo de redes neuronales gráficas y transformadores para una detección robusta de noticias falsas: un estudio de verificación y reimplementación
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelos basados en transformadores
Redes neuronales gráficas
Detección de noticias falsas
Bert
RoBERTa
GPT-2
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
Este estudio compara modelos basados en Transformadores y Redes Neuronales de Grafos (GNNs) para la detección de noticias falsas en tres conjuntos de datos: FakeNewsNet, ISOT y WELFake. Los modelos Transformer (BERT, RoBERTa, GPT-2) demostraron un rendimiento superior, logrando precisión media por encima del 85% en FakeNewsNet y superando el 98% en ISOT y WELFake. Específicamente, RoBERTa logró una precisión del 86.16% en FakeNewsNet y del 99.99% en ISOT, mientras que GPT-2 alcanzó el 99.72% en WELFake. En contraste, las GNNs (GCN, GraphSAGE, GIN, GAT) mostraron un rendimiento inferior. GCN logró una precisión del 71% en FakeNewsNet, pero disminuyó al 53.30% en ISOT y al 50.28% en WELFake, con puntuaciones F1 reflejando tendencias similares. Otras GNNs, como GraphSAGE, mostraron resultados aún más bajos, especialmente en ISOT y WELFake, donde el rendimiento se mantuvo alrededor del 50%. Nuestros hallazgos indican que si bien los Transformadores proporcionan una precisión y confiabilidad excepcionales, las GNNs ofrecen beneficios potenciales de eficiencia para escenarios con recursos limitados a pesar de su menor rendimiento predictivo. Este estudio informa la selección de modelos para tareas de detección de noticias falsas y fomenta la exploración de enfoques híbridos para equilibrar precisión y eficiencia computacional.
Descripción
Este estudio compara modelos basados en Transformadores y Redes Neuronales de Grafos (GNNs) para la detección de noticias falsas en tres conjuntos de datos: FakeNewsNet, ISOT y WELFake. Los modelos Transformer (BERT, RoBERTa, GPT-2) demostraron un rendimiento superior, logrando precisión media por encima del 85% en FakeNewsNet y superando el 98% en ISOT y WELFake. Específicamente, RoBERTa logró una precisión del 86.16% en FakeNewsNet y del 99.99% en ISOT, mientras que GPT-2 alcanzó el 99.72% en WELFake. En contraste, las GNNs (GCN, GraphSAGE, GIN, GAT) mostraron un rendimiento inferior. GCN logró una precisión del 71% en FakeNewsNet, pero disminuyó al 53.30% en ISOT y al 50.28% en WELFake, con puntuaciones F1 reflejando tendencias similares. Otras GNNs, como GraphSAGE, mostraron resultados aún más bajos, especialmente en ISOT y WELFake, donde el rendimiento se mantuvo alrededor del 50%. Nuestros hallazgos indican que si bien los Transformadores proporcionan una precisión y confiabilidad excepcionales, las GNNs ofrecen beneficios potenciales de eficiencia para escenarios con recursos limitados a pesar de su menor rendimiento predictivo. Este estudio informa la selección de modelos para tareas de detección de noticias falsas y fomenta la exploración de enfoques híbridos para equilibrar precisión y eficiencia computacional.