Un método conciso de extracción de relaciones basado en la fusión de características secuenciales y estructurales utilizando ERNIE
Autores: Wang, Yu; Wang, Yuan; Peng, Zhenwan; Zhang, Feifan; Yang, Fei
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un método conciso de extracción de relaciones basado en la fusión de características secuenciales y estructurales utilizando ERNIE
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Extracción de relaciones
Procesamiento de lenguaje natural
Triples de entidades
Grafo de conocimiento
Modelos de pre-entrenamiento
ERNIE
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
La extracción de relaciones, una tarea fundamental en el procesamiento del lenguaje natural, tiene como objetivo extraer triples de entidades de datos no estructurados. Estos triples luego pueden usarse para construir un grafo de conocimiento. Recientemente, los modelos de pre-entrenamiento que han aprendido conocimiento semántico y sintáctico previo, como BERT y ERNIE, han mejorado el rendimiento de las tareas de extracción de relaciones. Sin embargo, investigaciones anteriores se han centrado principalmente en datos secuenciales o estructurales solos, como el camino de dependencia más corto, ignorando el hecho de que fusionar características secuenciales y estructurales puede mejorar el rendimiento de clasificación. Este estudio propone un enfoque conciso utilizando las características fusionadas para la tarea de extracción de relaciones. En primer lugar, para los datos secuenciales, verificamos en detalle cuáles de las representaciones generadas pueden mejorar efectivamente el rendimiento. En segundo lugar, inspirados en la tarea de pre-entrenamiento de predicción de la siguiente oración, proponemos un enfoque conciso de extracción de relaciones basado en la fusión de características secuenciales y estructurales utilizando el modelo de pre-entrenamiento ERNIE. Los experimentos se realizaron en el conjunto de datos de la Tarea 8 de SemEval 2010 y los resultados muestran que el método propuesto puede mejorar el valor a 0.902.
Descripción
La extracción de relaciones, una tarea fundamental en el procesamiento del lenguaje natural, tiene como objetivo extraer triples de entidades de datos no estructurados. Estos triples luego pueden usarse para construir un grafo de conocimiento. Recientemente, los modelos de pre-entrenamiento que han aprendido conocimiento semántico y sintáctico previo, como BERT y ERNIE, han mejorado el rendimiento de las tareas de extracción de relaciones. Sin embargo, investigaciones anteriores se han centrado principalmente en datos secuenciales o estructurales solos, como el camino de dependencia más corto, ignorando el hecho de que fusionar características secuenciales y estructurales puede mejorar el rendimiento de clasificación. Este estudio propone un enfoque conciso utilizando las características fusionadas para la tarea de extracción de relaciones. En primer lugar, para los datos secuenciales, verificamos en detalle cuáles de las representaciones generadas pueden mejorar efectivamente el rendimiento. En segundo lugar, inspirados en la tarea de pre-entrenamiento de predicción de la siguiente oración, proponemos un enfoque conciso de extracción de relaciones basado en la fusión de características secuenciales y estructurales utilizando el modelo de pre-entrenamiento ERNIE. Los experimentos se realizaron en el conjunto de datos de la Tarea 8 de SemEval 2010 y los resultados muestran que el método propuesto puede mejorar el valor a 0.902.