Reca: extracción de relaciones basada en red neuronal de atención cruzada
Autores: Huang, Xiaofeng; Guo, Zhiqiang; Zhang, Jialiang; Cao, Hui; Yang, Jie
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Reca: extracción de relaciones basada en red neuronal de atención cruzada
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Extracción de entidades
Relaciones
Procesamiento de lenguaje natural
Información estructurada
Grafo de conocimiento
Bóveda de conocimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
La extracción de entidades y relaciones, como parte crucial de muchas tareas en el procesamiento del lenguaje natural, transforma la información de texto no estructurado en información estructurada y proporciona soporte de datos correspondiente para la construcción de grafos de conocimiento (KG) y bóvedas de conocimiento (KV). Sin embargo, los métodos de extracción de relaciones más comunes, el método de canalización y el método conjunto, ignoran la dependencia entre la entidad sujeto y la entidad objeto. Este trabajo introduce un modelo BERT preentrenado y una red neuronal convolucional dilatada con compuertas (DGCNN) como codificador para distinguir la representación semántica de largo alcance de la secuencia de entrada. Además, proponemos una red neuronal de atención cruzada como decodificador para aprender la importancia de cada palabra sujeta para cada palabra de la secuencia de entrada. Se realizaron experimentos con dos conjuntos de datos extensos, el Corpus del New York Times (NYT) y el Corpus de WebNLG, y demostraron que nuestro modelo tiene un rendimiento significativamente mejor que el modelo CasRel, superando la línea base en un 1.9% y 0.7% de ganancia absoluta en términos de puntuación F1.
Descripción
La extracción de entidades y relaciones, como parte crucial de muchas tareas en el procesamiento del lenguaje natural, transforma la información de texto no estructurado en información estructurada y proporciona soporte de datos correspondiente para la construcción de grafos de conocimiento (KG) y bóvedas de conocimiento (KV). Sin embargo, los métodos de extracción de relaciones más comunes, el método de canalización y el método conjunto, ignoran la dependencia entre la entidad sujeto y la entidad objeto. Este trabajo introduce un modelo BERT preentrenado y una red neuronal convolucional dilatada con compuertas (DGCNN) como codificador para distinguir la representación semántica de largo alcance de la secuencia de entrada. Además, proponemos una red neuronal de atención cruzada como decodificador para aprender la importancia de cada palabra sujeta para cada palabra de la secuencia de entrada. Se realizaron experimentos con dos conjuntos de datos extensos, el Corpus del New York Times (NYT) y el Corpus de WebNLG, y demostraron que nuestro modelo tiene un rendimiento significativamente mejor que el modelo CasRel, superando la línea base en un 1.9% y 0.7% de ganancia absoluta en términos de puntuación F1.