logo móvil
Contáctanos

Red de etiquetado de cuadrícula mejorada con atención basada en demostraciones para el reconocimiento de menciones

Autores: Jia, Haitao; Huang, Jing; Zhao, Kang; Mao, Yousi; Zhou, Huanlai; Ren, Li; Jia, Yuming; Xu, Wenbo

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Red de etiquetado de cuadrícula mejorada con atención basada en demostraciones para el reconocimiento de menciones


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Conceptos
Entidades
Reconocimiento
Modelo
Mejoras
Conjunto de datos

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 53

Citaciones: Sin citaciones


Descripción
Los conceptos potencian la inteligencia cognitiva. La extracción de entidades y menciones de conceptos planas, anidadas y discontinuas de textos en lenguaje natural es significativa para tareas posteriores como los grafos de conocimiento de conceptos. Entre los algoritmos que detectan uniformemente estos tipos de entidades y conceptos, Li et al. propusieron una arquitectura novedosa al modelar el reconocimiento de menciones unificadas como la clasificación de relaciones palabra-palabra, llamada WNER, que logró resultados de vanguardia en 2022. Sin embargo, todavía hay margen para mejorar. Este documento presenta tres mejoras basadas en WNER. Mejoramos la red de etiquetado de cuadrícula mediante el aprendizaje por demostración y la extracción de características de atención de etiquetas, por lo que nuestro modelo modificado se llama DTaE. En primer lugar, abordando el problema de la información semántica insuficiente en textos cortos y la falta de datos anotados, e inspirados por el aprendizaje por demostración de GPT-3, se busca una demostración durante la fase de entrenamiento según una cierta estrategia para mejorar las características de entrada y mejorar la capacidad del modelo para el aprendizaje de pocas muestras. En segundo lugar, para abordar el problema de la precisión de reconocimiento inferior de WNER para entidades y conceptos discontinuos, se emplea un mecanismo de atención de múltiples cabezas para capturar puntuaciones de atención para diferentes posiciones basadas en el etiquetado de cuadrícula. Luego, las características de atención de etiquetado se incrustan en el modelo. Finalmente, para retener información sobre la posición de la secuencia, se introduce una incrustación de posición rotativa para garantizar la robustez. Se seleccionó un diccionario chino autoritario y se adoptó un método de anotación de cinco personas para anotar múltiples tipos de entidades y conceptos en las definiciones. Para validar la efectividad de nuestro modelo mejorado, se realizaron experimentos en el conjunto de datos público CADEC y en nuestro conjunto de datos de diccionario chino anotado: en el conjunto de datos CADEC, con una ligera disminución en la tasa de recuperación, la precisión se mejora en un 2,78%, y la métrica integral F1 se incrementa en un 0,89%; en el conjunto de datos del diccionario chino, la precisión se mejora en un 2,97%, la tasa de recuperación se incrementa en un 2,35%, y la métrica integral F1 se mejora en un 2,66%.

Otros recursos que podrían interesarte

Temas Virtualpro