logo móvil
Contáctanos

Explorando el reconocimiento de entidades nombradas a través de MacBERT-BiGRU y Global Pointer con autoatención

Autores: Yuan, Chengzhe; Tang, Feiyi; Shan, Chun; Shen, Weiqiang; Lin, Ronghua; Mao, Chengjie; Li, Junxian

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Explorando el reconocimiento de entidades nombradas a través de MacBERT-BiGRU y Global Pointer con autoatención


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Sistemas

Palabras clave

Reconocimiento de entidades
Procesamiento de lenguaje natural
Entidades nombradas
Técnicas de aprendizaje profundo
Modelos de lenguaje pre-entrenados
Modelo MacBERT-BiGRU-Self Attention-Global Pointer

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 33

Citaciones: Sin citaciones


Descripción
El Reconocimiento de Entidades Nombradas (NER) es una tarea fundamental en el procesamiento del lenguaje natural que tiene como objetivo identificar y categorizar entidades nombradas dentro de un texto no estructurado. En los últimos años, con el desarrollo de técnicas de aprendizaje profundo, los modelos de lenguaje pre-entrenados han sido ampliamente utilizados en tareas de NER. Sin embargo, estos modelos aún enfrentan limitaciones en cuanto a su escalabilidad y adaptabilidad, especialmente al tratar fenómenos lingüísticos complejos como entidades anidadas y dependencias de largo alcance. Para abordar estos desafíos, proponemos el modelo MacBERT-BiGRU-Self Attention-Global Pointer (MB-GAP), que integra MacBERT para un profundo entendimiento semántico, BiGRU para información contextual rica, auto-atención para enfocarse en partes relevantes de la entrada, y un mecanismo de puntero global para una detección precisa de los límites de las entidades. Al optimizar el número de cabezas de atención y cabezas de puntero global, nuestro modelo logra un equilibrio efectivo entre complejidad y rendimiento. Experimentos extensos en conjuntos de datos de referencia, incluidos ResumeNER, CLUENER2020 y SCHOLAT-School, demuestran mejoras significativas sobre los modelos base.

Otros recursos que podrían interesarte

Temas Virtualpro