Explorando el reconocimiento de entidades nombradas a través de MacBERT-BiGRU y Global Pointer con autoatención
Autores: Yuan, Chengzhe; Tang, Feiyi; Shan, Chun; Shen, Weiqiang; Lin, Ronghua; Mao, Chengjie; Li, Junxian
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Explorando el reconocimiento de entidades nombradas a través de MacBERT-BiGRU y Global Pointer con autoatención
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Reconocimiento de entidades
Procesamiento de lenguaje natural
Entidades nombradas
Técnicas de aprendizaje profundo
Modelos de lenguaje pre-entrenados
Modelo MacBERT-BiGRU-Self Attention-Global Pointer
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
El Reconocimiento de Entidades Nombradas (NER) es una tarea fundamental en el procesamiento del lenguaje natural que tiene como objetivo identificar y categorizar entidades nombradas dentro de un texto no estructurado. En los últimos años, con el desarrollo de técnicas de aprendizaje profundo, los modelos de lenguaje pre-entrenados han sido ampliamente utilizados en tareas de NER. Sin embargo, estos modelos aún enfrentan limitaciones en cuanto a su escalabilidad y adaptabilidad, especialmente al tratar fenómenos lingüísticos complejos como entidades anidadas y dependencias de largo alcance. Para abordar estos desafíos, proponemos el modelo MacBERT-BiGRU-Self Attention-Global Pointer (MB-GAP), que integra MacBERT para un profundo entendimiento semántico, BiGRU para información contextual rica, auto-atención para enfocarse en partes relevantes de la entrada, y un mecanismo de puntero global para una detección precisa de los límites de las entidades. Al optimizar el número de cabezas de atención y cabezas de puntero global, nuestro modelo logra un equilibrio efectivo entre complejidad y rendimiento. Experimentos extensos en conjuntos de datos de referencia, incluidos ResumeNER, CLUENER2020 y SCHOLAT-School, demuestran mejoras significativas sobre los modelos base.
Descripción
El Reconocimiento de Entidades Nombradas (NER) es una tarea fundamental en el procesamiento del lenguaje natural que tiene como objetivo identificar y categorizar entidades nombradas dentro de un texto no estructurado. En los últimos años, con el desarrollo de técnicas de aprendizaje profundo, los modelos de lenguaje pre-entrenados han sido ampliamente utilizados en tareas de NER. Sin embargo, estos modelos aún enfrentan limitaciones en cuanto a su escalabilidad y adaptabilidad, especialmente al tratar fenómenos lingüísticos complejos como entidades anidadas y dependencias de largo alcance. Para abordar estos desafíos, proponemos el modelo MacBERT-BiGRU-Self Attention-Global Pointer (MB-GAP), que integra MacBERT para un profundo entendimiento semántico, BiGRU para información contextual rica, auto-atención para enfocarse en partes relevantes de la entrada, y un mecanismo de puntero global para una detección precisa de los límites de las entidades. Al optimizar el número de cabezas de atención y cabezas de puntero global, nuestro modelo logra un equilibrio efectivo entre complejidad y rendimiento. Experimentos extensos en conjuntos de datos de referencia, incluidos ResumeNER, CLUENER2020 y SCHOLAT-School, demuestran mejoras significativas sobre los modelos base.