TCFLTformer: Transformador TextCNN-Flat-Lattice para el Reconocimiento de Entidades en Grafos de Conocimiento sobre Amenazas Cibernéticas en la Gestión del Tráfico Aéreo
Autores: Liu, Chao; Wang, Buhong; Wang, Zhen; Tian, Jiwei; Luo, Peng; Yang, Yong
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
TCFLTformer: Transformador TextCNN-Flat-Lattice para el Reconocimiento de Entidades en Grafos de Conocimiento sobre Amenazas Cibernéticas en la Gestión del Tráfico Aéreo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Aeroespacial
Palabras clave
Desarrollo
Cajero automático
Amenaza cibernética
Reconocimiento
Entidad
Transformador
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
Con el desarrollo del sistema de gestión del tráfico aéreo (ATM), la amenaza cibernética para el ATM se está volviendo cada vez más seria. El reconocimiento de las entidades de amenaza cibernética del ATM es una tarea importante, que puede ayudar a los expertos en seguridad del ATM a reconocer rápida y precisamente las entidades de amenaza, proporcionando soporte de datos para la posterior construcción de gráficos de conocimiento y asegurando la seguridad y estabilidad del ATM. Los métodos de reconocimiento de entidades se basan principalmente en el aprendizaje automático tradicional durante un período de tiempo; sin embargo, los métodos presentan problemas como baja recuperación y baja precisión. Además, en los últimos años, el auge de la tecnología de aprendizaje profundo ha proporcionado nuevas ideas y métodos para el reconocimiento de entidades de amenaza cibernética del ATM. Alternativamente, en la red neuronal convolucional (CNN), la operación de convolución puede extraer eficientemente las características locales, mientras que es difícil capturar la información de representación global. En el Transformer, el mecanismo de atención puede capturar dependencias de características a largas distancias, mientras que generalmente ignora los detalles de las características locales. Para resolver estos problemas, se propone un Transformer de TextCNN-Flat-Lattice (TCFLTformer) con una arquitectura híbrida de CNN-Transformer para el reconocimiento de entidades de amenaza cibernética del ATM, en el que se diseña un embedding posicional relativo (RPE) para codificar la información del contenido textual de posición, y se utiliza una cabeza de predicción multirama (MBPH) para mejorar el aprendizaje de características profundas. TCFLTformer primero utiliza CNN para llevar a cabo operaciones de convolución y agrupamiento en el texto para extraer características locales y luego utiliza un Transformer de Flat-Lattice para aprender características temporales y posicionales relativas del texto para obtener los resultados de anotación finales. Los resultados experimentales muestran que este método ha logrado mejores resultados en la tarea de reconocimiento de entidades de amenaza cibernética del ATM, y tiene un alto valor práctico y una contribución teórica. Además, el método propuesto amplía el campo de investigación del reconocimiento de entidades de amenaza cibernética del ATM, y los resultados de la investigación también pueden proporcionar referencias para otras tareas de clasificación de texto y anotación de secuencias.
Descripción
Con el desarrollo del sistema de gestión del tráfico aéreo (ATM), la amenaza cibernética para el ATM se está volviendo cada vez más seria. El reconocimiento de las entidades de amenaza cibernética del ATM es una tarea importante, que puede ayudar a los expertos en seguridad del ATM a reconocer rápida y precisamente las entidades de amenaza, proporcionando soporte de datos para la posterior construcción de gráficos de conocimiento y asegurando la seguridad y estabilidad del ATM. Los métodos de reconocimiento de entidades se basan principalmente en el aprendizaje automático tradicional durante un período de tiempo; sin embargo, los métodos presentan problemas como baja recuperación y baja precisión. Además, en los últimos años, el auge de la tecnología de aprendizaje profundo ha proporcionado nuevas ideas y métodos para el reconocimiento de entidades de amenaza cibernética del ATM. Alternativamente, en la red neuronal convolucional (CNN), la operación de convolución puede extraer eficientemente las características locales, mientras que es difícil capturar la información de representación global. En el Transformer, el mecanismo de atención puede capturar dependencias de características a largas distancias, mientras que generalmente ignora los detalles de las características locales. Para resolver estos problemas, se propone un Transformer de TextCNN-Flat-Lattice (TCFLTformer) con una arquitectura híbrida de CNN-Transformer para el reconocimiento de entidades de amenaza cibernética del ATM, en el que se diseña un embedding posicional relativo (RPE) para codificar la información del contenido textual de posición, y se utiliza una cabeza de predicción multirama (MBPH) para mejorar el aprendizaje de características profundas. TCFLTformer primero utiliza CNN para llevar a cabo operaciones de convolución y agrupamiento en el texto para extraer características locales y luego utiliza un Transformer de Flat-Lattice para aprender características temporales y posicionales relativas del texto para obtener los resultados de anotación finales. Los resultados experimentales muestran que este método ha logrado mejores resultados en la tarea de reconocimiento de entidades de amenaza cibernética del ATM, y tiene un alto valor práctico y una contribución teórica. Además, el método propuesto amplía el campo de investigación del reconocimiento de entidades de amenaza cibernética del ATM, y los resultados de la investigación también pueden proporcionar referencias para otras tareas de clasificación de texto y anotación de secuencias.