Entidad Factor: un método equilibrado para completar tablas en la extracción conjunta de entidades y relaciones
Autores: Liu, Zhifeng; Tao, Mingcheng; Zhou, Conghua
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Entidad Factor: un método equilibrado para completar tablas en la extracción conjunta de entidades y relaciones
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Grafo de conocimiento
Procesamiento de lenguaje natural
Entidad
Extracción de relaciones
Etiquetas nulas
Rendimiento del modelo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
El grafo de conocimiento es una herramienta efectiva para mejorar el procesamiento del lenguaje natural, pero la anotación manual de enormes cantidades de conocimiento es costosa. Los académicos han realizado investigaciones sobre técnicas de extracción de entidades y relaciones, entre las cuales, el enfoque de rellenar tablas de extremo a extremo es una dirección popular para lograr la extracción conjunta de entidades y relaciones. Sin embargo, una vez que la tabla ha sido poblada en un espacio de etiquetas uniforme, se generan una gran cantidad de etiquetas nulas dentro del conjunto, lo que causa problemas de desequilibrio de etiquetas, lo que podría resultar en una tendencia del codificador del modelo a predecir etiquetas nulas; es decir, el rendimiento de generalización del modelo disminuye. En este documento, proponemos un método para mitigar las etiquetas nulas no esenciales en las matrices. Este método utiliza una matriz de puntuación para calcular el recuento de no-entidades y el porcentaje de etiquetas nulas no esenciales en la matriz, que luego se proyecta mediante la potencia de una constante natural para generar una matriz de factores de entidad. Esto luego se incorpora a la matriz de puntuación. En el proceso de retropropagación, el gradiente de las celdas etiquetadas como nulas no esenciales en la capa de factores de entidad se ve afectado y disminuye, cuya amplitud está relacionada con el tamaño del factor de entidad, reduciendo así el aprendizaje de características del modelo para una gran cantidad de etiquetas nulas no esenciales. Experimentos con dos conjuntos de datos de referencia públicamente disponibles muestran que la incorporación de factores de entidad mejoró significativamente el rendimiento del modelo, especialmente en la tarea de extracción de relaciones, en un 1.5% en ambos casos.
Descripción
El grafo de conocimiento es una herramienta efectiva para mejorar el procesamiento del lenguaje natural, pero la anotación manual de enormes cantidades de conocimiento es costosa. Los académicos han realizado investigaciones sobre técnicas de extracción de entidades y relaciones, entre las cuales, el enfoque de rellenar tablas de extremo a extremo es una dirección popular para lograr la extracción conjunta de entidades y relaciones. Sin embargo, una vez que la tabla ha sido poblada en un espacio de etiquetas uniforme, se generan una gran cantidad de etiquetas nulas dentro del conjunto, lo que causa problemas de desequilibrio de etiquetas, lo que podría resultar en una tendencia del codificador del modelo a predecir etiquetas nulas; es decir, el rendimiento de generalización del modelo disminuye. En este documento, proponemos un método para mitigar las etiquetas nulas no esenciales en las matrices. Este método utiliza una matriz de puntuación para calcular el recuento de no-entidades y el porcentaje de etiquetas nulas no esenciales en la matriz, que luego se proyecta mediante la potencia de una constante natural para generar una matriz de factores de entidad. Esto luego se incorpora a la matriz de puntuación. En el proceso de retropropagación, el gradiente de las celdas etiquetadas como nulas no esenciales en la capa de factores de entidad se ve afectado y disminuye, cuya amplitud está relacionada con el tamaño del factor de entidad, reduciendo así el aprendizaje de características del modelo para una gran cantidad de etiquetas nulas no esenciales. Experimentos con dos conjuntos de datos de referencia públicamente disponibles muestran que la incorporación de factores de entidad mejoró significativamente el rendimiento del modelo, especialmente en la tarea de extracción de relaciones, en un 1.5% en ambos casos.