logo móvil
Contáctanos

DynGraph-BERT: Combinando BERT y GNN utilizando gráficos dinámicos para la clasificación de texto semisupervisada inductiva

Autores: Perin, Eliton Luiz Scardin; Souza, Mariana Caravanti de; Silva, Jonathan de Andrade; Matsubara, Edson Takashi

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico
2025

DynGraph-BERT: Combinando BERT y GNN utilizando gráficos dinámicos para la clasificación de texto semisupervisada inductiva


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Bert
Gnn
Incrustaciones de tokens
Redes neuronales de grafos
Clasificación de texto
Grafos homogéneos

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
La combinación de Representaciones de Codificadores Bidireccionales de Transformadores (BERT) y Redes Neuronales de Grafos (GNNs) ha sido ampliamente explorada en la literatura de clasificación de texto, generalmente empleando BERT como extractor de características combinado con grafos estáticos heterogéneos. BERT transfiere información a través de incrustaciones de tokens, que se propagan a través de GNNs. La información específica del texto define un grafo estático heterogéneo. Los grafos estáticos representan relaciones específicas y no tienen la flexibilidad para agregar nuevo conocimiento al grafo. Para abordar este problema, construimos una conexión atada entre BERT y GNN utilizando exclusivamente incrustaciones de tokens para definir el grafo y propagar las incrustaciones, lo que puede obligar a BERT a redefinir la topología del grafo GNN para mejorar la precisión. Así, en este estudio, reexaminamos los espacios de diseño y probamos los límites de lo que este grafo homogéneo puro utilizando incrustaciones de BERT puede lograr. Los grafos homogéneos ofrecen simplicidad estructural y mayores capacidades de generalización, particularmente cuando se integran con representaciones robustas como las proporcionadas por BERT. Para mejorar la precisión, el enfoque propuesto también incorpora aumento de texto y propagación de etiquetas en el momento de la prueba. Los resultados experimentales muestran que el método propuesto supera a los métodos de vanguardia en todos los conjuntos de datos analizados, con mejoras de precisión consistentes a medida que se incluyen más ejemplos etiquetados.

Otros recursos que podrían interesarte

Temas Virtualpro