Reconocimiento de entidades nombradas para enfermedades y plagas de cultivos basado en unidad de fusión con compuertas y atención de Manhattan
Autores: Tang, Wentao; Wen, Xianhuan; Hu, Zelin
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Reconocimiento de entidades nombradas para enfermedades y plagas de cultivos basado en unidad de fusión con compuertas y atención de Manhattan
Categoría
Ciencias Agrícolas y Biológicas
Subcategoría
Ciencias Agrícolas y Biológicas Generales
Palabras clave
Reconocimiento de entidades nombradas
Modelo NER
GatedMan
RoBERTa
BiLSTM
Atención de Manhattan
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
El reconocimiento de entidades nombradas (NER) es un paso crucial en la construcción de gráficos de conocimiento para enfermedades y plagas de cultivos. Para mejorar la precisión del NER, proponemos un nuevo modelo de NER, GatedMan, basado en la unidad de fusión controlada y la atención de Manhattan. GatedMan utiliza RoBERTa como modelo pre-entrenado y lo mejora utilizando una memoria a corto plazo bidireccional (BiLSTM) para extraer características del contexto. Utiliza una unidad controlada para realizar una fusión ponderada entre las salidas de RoBERTa y BiLSTM, enriqueciendo así el flujo de información. La salida fusionada se alimenta luego a un mecanismo de atención de Manhattan novedoso para capturar las dependencias a largo plazo. La secuencia de etiquetado óptima global se obtiene utilizando la capa de campos aleatorios condicionales. Para mejorar la robustez del modelo, incorporamos un entrenamiento adversarial utilizando el método de gradiente rápido. Esto introduce ejemplos adversariales, permitiendo que el modelo aprenda representaciones de características más resistentes a las perturbaciones, mejorando así su rendimiento contra entradas desconocidas. GatedMan logró puntuaciones F1 del 93.73%, 94.13%, 93.98% y 96.52% en los conjuntos de datos AgCNER, Peoples_daily, MSRA y Resume, respectivamente, superando así a los otros modelos. Los resultados experimentales demuestran que GatedMan identifica con precisión entidades relacionadas con enfermedades y plagas de cultivos y exhibe una alta generalizabilidad en otros dominios.
Descripción
El reconocimiento de entidades nombradas (NER) es un paso crucial en la construcción de gráficos de conocimiento para enfermedades y plagas de cultivos. Para mejorar la precisión del NER, proponemos un nuevo modelo de NER, GatedMan, basado en la unidad de fusión controlada y la atención de Manhattan. GatedMan utiliza RoBERTa como modelo pre-entrenado y lo mejora utilizando una memoria a corto plazo bidireccional (BiLSTM) para extraer características del contexto. Utiliza una unidad controlada para realizar una fusión ponderada entre las salidas de RoBERTa y BiLSTM, enriqueciendo así el flujo de información. La salida fusionada se alimenta luego a un mecanismo de atención de Manhattan novedoso para capturar las dependencias a largo plazo. La secuencia de etiquetado óptima global se obtiene utilizando la capa de campos aleatorios condicionales. Para mejorar la robustez del modelo, incorporamos un entrenamiento adversarial utilizando el método de gradiente rápido. Esto introduce ejemplos adversariales, permitiendo que el modelo aprenda representaciones de características más resistentes a las perturbaciones, mejorando así su rendimiento contra entradas desconocidas. GatedMan logró puntuaciones F1 del 93.73%, 94.13%, 93.98% y 96.52% en los conjuntos de datos AgCNER, Peoples_daily, MSRA y Resume, respectivamente, superando así a los otros modelos. Los resultados experimentales demuestran que GatedMan identifica con precisión entidades relacionadas con enfermedades y plagas de cultivos y exhibe una alta generalizabilidad en otros dominios.