DynGraph-BERT: Combinando BERT y GNN utilizando gráficos dinámicos para la clasificación de texto semisupervisada inductiva
Autores: Perin, Eliton Luiz Scardin; Souza, Mariana Caravanti de; Silva, Jonathan de Andrade; Matsubara, Edson Takashi
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
DynGraph-BERT: Combinando BERT y GNN utilizando gráficos dinámicos para la clasificación de texto semisupervisada inductiva
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Bert
Gnn
Incrustaciones de tokens
Redes neuronales de grafos
Clasificación de texto
Grafos homogéneos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La combinación de Representaciones de Codificadores Bidireccionales de Transformadores (BERT) y Redes Neuronales de Grafos (GNNs) ha sido ampliamente explorada en la literatura de clasificación de texto, generalmente empleando BERT como extractor de características combinado con grafos estáticos heterogéneos. BERT transfiere información a través de incrustaciones de tokens, que se propagan a través de GNNs. La información específica del texto define un grafo estático heterogéneo. Los grafos estáticos representan relaciones específicas y no tienen la flexibilidad para agregar nuevo conocimiento al grafo. Para abordar este problema, construimos una conexión atada entre BERT y GNN utilizando exclusivamente incrustaciones de tokens para definir el grafo y propagar las incrustaciones, lo que puede obligar a BERT a redefinir la topología del grafo GNN para mejorar la precisión. Así, en este estudio, reexaminamos los espacios de diseño y probamos los límites de lo que este grafo homogéneo puro utilizando incrustaciones de BERT puede lograr. Los grafos homogéneos ofrecen simplicidad estructural y mayores capacidades de generalización, particularmente cuando se integran con representaciones robustas como las proporcionadas por BERT. Para mejorar la precisión, el enfoque propuesto también incorpora aumento de texto y propagación de etiquetas en el momento de la prueba. Los resultados experimentales muestran que el método propuesto supera a los métodos de vanguardia en todos los conjuntos de datos analizados, con mejoras de precisión consistentes a medida que se incluyen más ejemplos etiquetados.
Descripción
La combinación de Representaciones de Codificadores Bidireccionales de Transformadores (BERT) y Redes Neuronales de Grafos (GNNs) ha sido ampliamente explorada en la literatura de clasificación de texto, generalmente empleando BERT como extractor de características combinado con grafos estáticos heterogéneos. BERT transfiere información a través de incrustaciones de tokens, que se propagan a través de GNNs. La información específica del texto define un grafo estático heterogéneo. Los grafos estáticos representan relaciones específicas y no tienen la flexibilidad para agregar nuevo conocimiento al grafo. Para abordar este problema, construimos una conexión atada entre BERT y GNN utilizando exclusivamente incrustaciones de tokens para definir el grafo y propagar las incrustaciones, lo que puede obligar a BERT a redefinir la topología del grafo GNN para mejorar la precisión. Así, en este estudio, reexaminamos los espacios de diseño y probamos los límites de lo que este grafo homogéneo puro utilizando incrustaciones de BERT puede lograr. Los grafos homogéneos ofrecen simplicidad estructural y mayores capacidades de generalización, particularmente cuando se integran con representaciones robustas como las proporcionadas por BERT. Para mejorar la precisión, el enfoque propuesto también incorpora aumento de texto y propagación de etiquetas en el momento de la prueba. Los resultados experimentales muestran que el método propuesto supera a los métodos de vanguardia en todos los conjuntos de datos analizados, con mejoras de precisión consistentes a medida que se incluyen más ejemplos etiquetados.