Ernie-Gram BiGRU Atención: Un Modelo Mejorado de Reconocimiento de Múltiples Intenciones para el Control del Tráfico Aéreo
Autores: Pan, Weijun; Jiang, Peiyuan; Wang, Zhuang; Li, Yukun; Liao, Zhenlong
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Ernie-Gram BiGRU Atención: Un Modelo Mejorado de Reconocimiento de Múltiples Intenciones para el Control del Tráfico Aéreo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Aeroespacial
Palabras clave
Modelos de lenguaje preentrenados a gran escala
Aprendizaje por transferencia
Procesamiento de lenguaje natural
Ernie-Gram_Bidirectional Gate Recurrent Unit (BiGRU)_Atención (EBA)
Control de tráfico aéreo (ATC)
Modelo de reconocimiento de intenciones
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 32
Citaciones: Sin citaciones
En los últimos años, la aparición de modelos de lenguaje preentrenados a gran escala ha hecho posible el aprendizaje por transferencia en el procesamiento del lenguaje natural, lo que revierte la arquitectura de modelo tradicional basada en redes neuronales recurrentes (RNN). En este estudio, construimos un modelo de reconocimiento de múltiples intenciones, Ernie-Gram_Bidirectional Gate Recurrent Unit (BiGRU)_Attention (EBA), para el control del tráfico aéreo (ATC). En primer lugar, se utiliza el modelo de preentrenamiento Ernie-Gram como la capa base de la arquitectura general para implementar la codificación de la información textual. El módulo BiGRU que sigue se utiliza para una extracción adicional de características de la información codificada. En segundo lugar, dado que la información de palabras clave es muy importante en las comunicaciones de radiotelefonía en chino, se añade la capa de atención después del módulo BiGRU para realizar la extracción de información de palabras clave. Finalmente, se utilizan dos capas completamente conectadas (FC) para la fusión del vector de características y la salida del vector de clasificación de intenciones, respectivamente. Comparamos experimentalmente los efectos de dos herramientas de tokenización diferentes, la herramienta de tokenización BERT y la herramienta de tokenización Jieba, en el rendimiento final del modelo Bert. Los resultados experimentales revelan que, aunque la herramienta de tokenización Jieba ha considerado la información de palabras, el efecto de la herramienta de tokenización Jieba no es tan bueno como el de la herramienta de tokenización BERT. La precisión del modelo final es del 98.2% en el conjunto de datos de reconocimiento de intenciones de las instrucciones de ATC, lo que es un 2.7% más alto que el modelo de referencia Bert y un 0.7-3.1% más alto que otros modelos mejorados basados en BERT.
Descripción
En los últimos años, la aparición de modelos de lenguaje preentrenados a gran escala ha hecho posible el aprendizaje por transferencia en el procesamiento del lenguaje natural, lo que revierte la arquitectura de modelo tradicional basada en redes neuronales recurrentes (RNN). En este estudio, construimos un modelo de reconocimiento de múltiples intenciones, Ernie-Gram_Bidirectional Gate Recurrent Unit (BiGRU)_Attention (EBA), para el control del tráfico aéreo (ATC). En primer lugar, se utiliza el modelo de preentrenamiento Ernie-Gram como la capa base de la arquitectura general para implementar la codificación de la información textual. El módulo BiGRU que sigue se utiliza para una extracción adicional de características de la información codificada. En segundo lugar, dado que la información de palabras clave es muy importante en las comunicaciones de radiotelefonía en chino, se añade la capa de atención después del módulo BiGRU para realizar la extracción de información de palabras clave. Finalmente, se utilizan dos capas completamente conectadas (FC) para la fusión del vector de características y la salida del vector de clasificación de intenciones, respectivamente. Comparamos experimentalmente los efectos de dos herramientas de tokenización diferentes, la herramienta de tokenización BERT y la herramienta de tokenización Jieba, en el rendimiento final del modelo Bert. Los resultados experimentales revelan que, aunque la herramienta de tokenización Jieba ha considerado la información de palabras, el efecto de la herramienta de tokenización Jieba no es tan bueno como el de la herramienta de tokenización BERT. La precisión del modelo final es del 98.2% en el conjunto de datos de reconocimiento de intenciones de las instrucciones de ATC, lo que es un 2.7% más alto que el modelo de referencia Bert y un 0.7-3.1% más alto que otros modelos mejorados basados en BERT.