logo móvil
Contáctanos

Ernie-Gram BiGRU Atención: Un Modelo Mejorado de Reconocimiento de Múltiples Intenciones para el Control del Tráfico Aéreo

Autores: Pan, Weijun; Jiang, Peiyuan; Wang, Zhuang; Li, Yukun; Liao, Zhenlong

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Ernie-Gram BiGRU Atención: Un Modelo Mejorado de Reconocimiento de Múltiples Intenciones para el Control del Tráfico Aéreo


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Aeroespacial

Palabras clave

Modelos de lenguaje preentrenados a gran escala
Aprendizaje por transferencia
Procesamiento de lenguaje natural
Ernie-Gram_Bidirectional Gate Recurrent Unit (BiGRU)_Atención (EBA)
Control de tráfico aéreo (ATC)
Modelo de reconocimiento de intenciones

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 32

Citaciones: Sin citaciones


Descripción
En los últimos años, la aparición de modelos de lenguaje preentrenados a gran escala ha hecho posible el aprendizaje por transferencia en el procesamiento del lenguaje natural, lo que revierte la arquitectura de modelo tradicional basada en redes neuronales recurrentes (RNN). En este estudio, construimos un modelo de reconocimiento de múltiples intenciones, Ernie-Gram_Bidirectional Gate Recurrent Unit (BiGRU)_Attention (EBA), para el control del tráfico aéreo (ATC). En primer lugar, se utiliza el modelo de preentrenamiento Ernie-Gram como la capa base de la arquitectura general para implementar la codificación de la información textual. El módulo BiGRU que sigue se utiliza para una extracción adicional de características de la información codificada. En segundo lugar, dado que la información de palabras clave es muy importante en las comunicaciones de radiotelefonía en chino, se añade la capa de atención después del módulo BiGRU para realizar la extracción de información de palabras clave. Finalmente, se utilizan dos capas completamente conectadas (FC) para la fusión del vector de características y la salida del vector de clasificación de intenciones, respectivamente. Comparamos experimentalmente los efectos de dos herramientas de tokenización diferentes, la herramienta de tokenización BERT y la herramienta de tokenización Jieba, en el rendimiento final del modelo Bert. Los resultados experimentales revelan que, aunque la herramienta de tokenización Jieba ha considerado la información de palabras, el efecto de la herramienta de tokenización Jieba no es tan bueno como el de la herramienta de tokenización BERT. La precisión del modelo final es del 98.2% en el conjunto de datos de reconocimiento de intenciones de las instrucciones de ATC, lo que es un 2.7% más alto que el modelo de referencia Bert y un 0.7-3.1% más alto que otros modelos mejorados basados en BERT.

Otros recursos que podrían interesarte

Temas Virtualpro