Guía y Control Integrados para Vehículos Aéreos Strap-Down: Un Enfoque de Aprendizaje por Refuerzo Profundo
Autores: Zhang, Qinglong; Zhao, Bin; Jiang, Yifu; Zhang, Jingyan; Zhang, Jiale
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Guía y Control Integrados para Vehículos Aéreos Strap-Down: Un Enfoque de Aprendizaje por Refuerzo Profundo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Aeroespacial
Palabras clave
Propuesto
Aprendizaje por refuerzo profundo
Guía y control integrados
Campo de visión estrecho
6 grados de libertad
Procesos de decisión de Markov
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 18
Citaciones: Sin citaciones
Este artículo propone un método integrado de guía y control (DRLIGC) basado en aprendizaje profundo por refuerzo (3D), que está restringido por la limitación del campo de visión (FOV) estrecho del buscador montado. Al aprovechar la naturaleza impulsada por datos del algoritmo de aprendizaje profundo por refuerzo (DRL), este método mitiga los desafíos asociados con el diseño del método de guía y control integrado (IGC) que surgen de las dependencias del modelo, abordando así la complejidad inherente del modelo IGC. En primer lugar, de acuerdo con diferentes estados y acciones, los canales de inclinación y guiñada del modelo IGC de seis grados de libertad (6-DOF) se modelan como procesos de decisión de Markov (MDPs). En segundo lugar, se propone un método de entrenamiento progresivo canal por canal basado en el algoritmo de gradiente de política determinista retrasado doble (TD3). Los agentes de los canales de inclinación y guiñada se entrenan utilizando el algoritmo TD3 de manera independiente, lo que alivia sustancialmente la complejidad del proceso de entrenamiento, mientras que el canal de rollo se estabiliza mediante la aplicación del método de retroceso. En tercer lugar, se diseña una función de recompensa integral para abordar simultáneamente la limitación del FOV estrecho y mejorar la capacidad de compromiso con el objetivo. Además, esta función mitiga el problema de recompensas escasas hasta cierto punto. A través de la verificación de simulación de Monte Carlo (MC) y comparativa, se demuestra que el método DRLIGC propuesto en este artículo puede acercarse efectivamente al objetivo mientras mantiene la limitación del FOV estrecho y también tiene buena robustez.
Descripción
Este artículo propone un método integrado de guía y control (DRLIGC) basado en aprendizaje profundo por refuerzo (3D), que está restringido por la limitación del campo de visión (FOV) estrecho del buscador montado. Al aprovechar la naturaleza impulsada por datos del algoritmo de aprendizaje profundo por refuerzo (DRL), este método mitiga los desafíos asociados con el diseño del método de guía y control integrado (IGC) que surgen de las dependencias del modelo, abordando así la complejidad inherente del modelo IGC. En primer lugar, de acuerdo con diferentes estados y acciones, los canales de inclinación y guiñada del modelo IGC de seis grados de libertad (6-DOF) se modelan como procesos de decisión de Markov (MDPs). En segundo lugar, se propone un método de entrenamiento progresivo canal por canal basado en el algoritmo de gradiente de política determinista retrasado doble (TD3). Los agentes de los canales de inclinación y guiñada se entrenan utilizando el algoritmo TD3 de manera independiente, lo que alivia sustancialmente la complejidad del proceso de entrenamiento, mientras que el canal de rollo se estabiliza mediante la aplicación del método de retroceso. En tercer lugar, se diseña una función de recompensa integral para abordar simultáneamente la limitación del FOV estrecho y mejorar la capacidad de compromiso con el objetivo. Además, esta función mitiga el problema de recompensas escasas hasta cierto punto. A través de la verificación de simulación de Monte Carlo (MC) y comparativa, se demuestra que el método DRLIGC propuesto en este artículo puede acercarse efectivamente al objetivo mientras mantiene la limitación del FOV estrecho y también tiene buena robustez.