logo móvil
Contáctanos

Un modelo de aprendizaje conjunto para extraer entidades y relaciones en literatura china basado en autoatención

Autores: Liang, Li-Xin; Lin, Lin; Lin, E; Wen, Wu-Shao; Huang, Guo-Yan

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

Un modelo de aprendizaje conjunto para extraer entidades y relaciones en literatura china basado en autoatención


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Procesamiento del lenguaje natural
Reconocimiento de entidades nombradas
Extracción de relaciones
Mecanismo de autoatención
Red neuronal
Literatura china

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 24

Citaciones: Sin citaciones


Descripción
Extraer información estructurada de texto masivo y heterogéneo es un tema de investigación candente en el campo del procesamiento del lenguaje natural. Incluye dos tecnologías clave: reconocimiento de entidades nombradas (NER) y extracción de relaciones (RE). Sin embargo, los modelos de NER anteriores consideran menos la influencia de la atención mutua entre palabras en el texto en la predicción de las etiquetas de entidad, y hay menos investigación sobre cómo extraer de manera más completa la información de las oraciones para la clasificación relacional. Además, la investigación previa trata NER y RE como una tubería de dos tareas separadas, lo que descuida la conexión entre ellas y se centra principalmente en el corpus en inglés. En este documento, basándonos en el mecanismo de autoatención, la red neuronal bidireccional de memoria a corto y largo plazo (BiLSTM) y el modelo de campo aleatorio condicional (CRF), presentamos un método de NER chino basado en BiLSTM-Autoatención-CRF y un método de RE basado en BiLSTM-Atención Multinivel en el campo de la literatura china. En particular, considerando la relación entre estas dos tareas en términos de representación de vectores de palabras y características de contexto en el modelo de red neuronal, presentamos un método de aprendizaje conjunto para las tareas de NER y RE basado en el mismo módulo subyacente, que actualiza conjuntamente los parámetros del módulo compartido durante el entrenamiento de estas dos tareas. Para la evaluación del rendimiento, utilizamos el conjunto de datos chino más grande que contiene estas dos tareas. Los resultados experimentales muestran que los modelos de NER y RE entrenados de forma independiente propuestos logran un mejor rendimiento que todos los métodos anteriores, y nuestro modelo de entrenamiento conjunto NER-RE supera al modelo de NER y RE entrenados de forma independiente.

Otros recursos que podrían interesarte

Temas Virtualpro