Aprovechando las características de etiquetado de partes del habla y una estrategia de regularización novedosa para el reconocimiento de entidades nombradas médicas en chino
Autores: Jiang, Miao; Zhang, Xin; Chen, Chonghao; Shao, Taihua; Chen, Honghui
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Aprovechando las características de etiquetado de partes del habla y una estrategia de regularización novedosa para el reconocimiento de entidades nombradas médicas en chino
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Reconocimiento de entidades con nombre en medicina china
Conocimiento de diccionario
Bilstm-crf
Arquitectura bert
Características de etiquetado de partes de la oración
Método de regularización
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
El Reconocimiento de Entidades Nombradas Médicas Chinas (Chinese-MNER) tiene como objetivo identificar entidades potenciales y sus categorías a partir del texto médico chino no estructurado. Los métodos existentes para esta tarea principalmente incorporan el conocimiento del diccionario sobre la base de la arquitectura tradicional BiLSTM-CRF o BERT. Sin embargo, la construcción de diccionarios de alta calidad suele ser consumidora de tiempo y mano de obra, lo que también puede dañar la robustez de los modelos de NER. Además, la cantidad limitada de datos anotados de Chinese-MNER puede llevar fácilmente al problema de sobreajuste durante el entrenamiento. Con el objetivo de hacer frente a los problemas mencionados anteriormente, presentamos un modelo ERT-iLSTM-RF integrando las características de etiquetado de parte del habla (OS) y un método de regularización (BBCPR) para Chinese-MNER. En BBCPR, primero aprovechamos una capa de fusión de POS para incorporar conocimiento sintáctico externo. A continuación, diseñamos un novedoso método de regularización con entrenamiento adversarial y deserción (READ) para mejorar la robustez del modelo. Específicamente, READ se enfoca en reducir la diferencia entre las predicciones de dos submodelos mediante la minimización de la divergencia KL bidireccional entre la salida adversarial y las distribuciones de salida originales para la misma muestra. Evaluaciones exhaustivas en dos conjuntos de datos públicos, a saber, cMedQANER y cEHRNER del banco de pruebas de Evaluación de Comprensión del Lenguaje Biomédico Chino (ChineseBLUE), demuestran la superioridad de nuestra propuesta en Chinese-MNER. Además, un estudio de ablación muestra que READ puede mejorar efectivamente el rendimiento del modelo. Nuestra propuesta se desempeña bien en explorar los términos técnicos e identificar los límites de las palabras.
Descripción
El Reconocimiento de Entidades Nombradas Médicas Chinas (Chinese-MNER) tiene como objetivo identificar entidades potenciales y sus categorías a partir del texto médico chino no estructurado. Los métodos existentes para esta tarea principalmente incorporan el conocimiento del diccionario sobre la base de la arquitectura tradicional BiLSTM-CRF o BERT. Sin embargo, la construcción de diccionarios de alta calidad suele ser consumidora de tiempo y mano de obra, lo que también puede dañar la robustez de los modelos de NER. Además, la cantidad limitada de datos anotados de Chinese-MNER puede llevar fácilmente al problema de sobreajuste durante el entrenamiento. Con el objetivo de hacer frente a los problemas mencionados anteriormente, presentamos un modelo ERT-iLSTM-RF integrando las características de etiquetado de parte del habla (OS) y un método de regularización (BBCPR) para Chinese-MNER. En BBCPR, primero aprovechamos una capa de fusión de POS para incorporar conocimiento sintáctico externo. A continuación, diseñamos un novedoso método de regularización con entrenamiento adversarial y deserción (READ) para mejorar la robustez del modelo. Específicamente, READ se enfoca en reducir la diferencia entre las predicciones de dos submodelos mediante la minimización de la divergencia KL bidireccional entre la salida adversarial y las distribuciones de salida originales para la misma muestra. Evaluaciones exhaustivas en dos conjuntos de datos públicos, a saber, cMedQANER y cEHRNER del banco de pruebas de Evaluación de Comprensión del Lenguaje Biomédico Chino (ChineseBLUE), demuestran la superioridad de nuestra propuesta en Chinese-MNER. Además, un estudio de ablación muestra que READ puede mejorar efectivamente el rendimiento del modelo. Nuestra propuesta se desempeña bien en explorar los términos técnicos e identificar los límites de las palabras.