Estrategia de Maniobra Inteligente para un Juego de Persecución-Evasión Hipersónico Basado en Aprendizaje Profundo por Refuerzo
Autores: Guo, Yunhe; Jiang, Zijian; Huang, Hanqiao; Fan, Hongjia; Weng, Weiye
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Estrategia de Maniobra Inteligente para un Juego de Persecución-Evasión Hipersónico Basado en Aprendizaje Profundo por Refuerzo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Aeroespacial
Palabras clave
Estrategia de maniobra inteligente
Aprendizaje por refuerzo profundo
Vehículos hipersónicos
Red neuronal profunda
Juego de persecución y evasión
Algoritmo TD3
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
Con el fin de mejorar el problema de la dependencia excesiva de la información situacional, los altos requisitos de potencia computacional y la débil adaptabilidad de los métodos de maniobra tradicionales utilizados por los vehículos hipersónicos (HV), se propone una estrategia de maniobra inteligente que combina el aprendizaje por refuerzo profundo (DRL) y la red neuronal profunda (DNN) para resolver el problema del juego de persecución-esquiva (PE) hipersónico en situaciones difíciles de frente. Se utiliza el algoritmo de estrategia de gradiente de doble determinista retrasado (TD3) para explorar instrucciones de maniobra potenciales, la DNN se utiliza para ajustarse y ampliar los escenarios de aplicación, y la estrategia de maniobra inteligente se genera con la situación inicial de ambos lados, persecución y esquiva, como entrada y la sobrecarga del juego de maniobra del HV como salida. Además, se propone una estrategia de clasificación del grupo de experiencia para mejorar la convergencia del entrenamiento y la tasa del algoritmo TD3. Se diseña un conjunto de funciones de recompensa para lograr un ajuste adaptativo de la distancia de fallo de esquiva y el consumo de energía en diferentes situaciones iniciales. Los resultados de la simulación verifican la viabilidad y efectividad de la estrategia de maniobra inteligente mencionada para abordar el problema del juego PE de los HV en situaciones difíciles, y también se validan las estrategias de mejora propuestas.
Descripción
Con el fin de mejorar el problema de la dependencia excesiva de la información situacional, los altos requisitos de potencia computacional y la débil adaptabilidad de los métodos de maniobra tradicionales utilizados por los vehículos hipersónicos (HV), se propone una estrategia de maniobra inteligente que combina el aprendizaje por refuerzo profundo (DRL) y la red neuronal profunda (DNN) para resolver el problema del juego de persecución-esquiva (PE) hipersónico en situaciones difíciles de frente. Se utiliza el algoritmo de estrategia de gradiente de doble determinista retrasado (TD3) para explorar instrucciones de maniobra potenciales, la DNN se utiliza para ajustarse y ampliar los escenarios de aplicación, y la estrategia de maniobra inteligente se genera con la situación inicial de ambos lados, persecución y esquiva, como entrada y la sobrecarga del juego de maniobra del HV como salida. Además, se propone una estrategia de clasificación del grupo de experiencia para mejorar la convergencia del entrenamiento y la tasa del algoritmo TD3. Se diseña un conjunto de funciones de recompensa para lograr un ajuste adaptativo de la distancia de fallo de esquiva y el consumo de energía en diferentes situaciones iniciales. Los resultados de la simulación verifican la viabilidad y efectividad de la estrategia de maniobra inteligente mencionada para abordar el problema del juego PE de los HV en situaciones difíciles, y también se validan las estrategias de mejora propuestas.