Auto-Prioritización en Aprendizaje por Refuerzo Multi-Agente para la Resolución de Conflictos en el Control de Tráfico Aéreo con Instrucciones Limitadas
Autores: Nilsson, Jens; Unger, Jonas; Eilertsen, Gabriel
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Auto-Prioritización en Aprendizaje por Refuerzo Multi-Agente para la Resolución de Conflictos en el Control de Tráfico Aéreo con Instrucciones Limitadas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Aeroespacial
Palabras clave
Control de tráfico aéreo
Automatización
Resolución de conflictos
Aprendizaje por refuerzo
Espacios de acción continuos
ATC descentralizado
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
El control de tráfico aéreo (ATC) se basa en una serie de tareas complejas, siendo el aspecto más crucial asegurar una separación segura entre las aeronaves. Debido al aumento del tráfico aéreo, los sistemas de apoyo a la decisión y la automatización segura y robusta de las tareas de ATC son de gran valor. La resolución automática de conflictos ha sido un área activa de investigación durante décadas, y en años más recientes, se ha sugerido el aprendizaje por refuerzo como una alternativa poderosa a los algoritmos tradicionales. El aprendizaje por refuerzo que utiliza espacios de acción discretos a menudo requiere grandes espacios de acción para cubrir todas las combinaciones de acciones, lo que puede dificultar su entrenamiento. Por otro lado, los modelos con espacios de acción continuos requieren una dimensionalidad mucho más baja, pero a menudo aprenden a resolver conflictos utilizando un gran número de acciones extremadamente pequeñas. Esto los hace más adecuados para el ATC descentralizado, como en el espacio aéreo no tripulado o de vuelo libre. En este artículo, presentamos un nuevo método de aprendizaje por refuerzo multiagente con un espacio de acción continuo que reduce significativamente el número de acciones mediante un mecanismo de prioridad basado en el aprendizaje. Demostramos cómo esto puede mantener el número de acciones al mínimo mientras resuelve conflictos con poco sobrecoste en la distancia requerida para que las aeronaves lleguen a sus puntos de salida. Como tal, la solución propuesta es adecuada para el ATC centralizado, donde el número de directivas que se pueden transmitir a las aeronaves es limitado.
Descripción
El control de tráfico aéreo (ATC) se basa en una serie de tareas complejas, siendo el aspecto más crucial asegurar una separación segura entre las aeronaves. Debido al aumento del tráfico aéreo, los sistemas de apoyo a la decisión y la automatización segura y robusta de las tareas de ATC son de gran valor. La resolución automática de conflictos ha sido un área activa de investigación durante décadas, y en años más recientes, se ha sugerido el aprendizaje por refuerzo como una alternativa poderosa a los algoritmos tradicionales. El aprendizaje por refuerzo que utiliza espacios de acción discretos a menudo requiere grandes espacios de acción para cubrir todas las combinaciones de acciones, lo que puede dificultar su entrenamiento. Por otro lado, los modelos con espacios de acción continuos requieren una dimensionalidad mucho más baja, pero a menudo aprenden a resolver conflictos utilizando un gran número de acciones extremadamente pequeñas. Esto los hace más adecuados para el ATC descentralizado, como en el espacio aéreo no tripulado o de vuelo libre. En este artículo, presentamos un nuevo método de aprendizaje por refuerzo multiagente con un espacio de acción continuo que reduce significativamente el número de acciones mediante un mecanismo de prioridad basado en el aprendizaje. Demostramos cómo esto puede mantener el número de acciones al mínimo mientras resuelve conflictos con poco sobrecoste en la distancia requerida para que las aeronaves lleguen a sus puntos de salida. Como tal, la solución propuesta es adecuada para el ATC centralizado, donde el número de directivas que se pueden transmitir a las aeronaves es limitado.