Estrategias de guía y control basadas en aprendizaje por refuerzo profundo con restricciones de ángulo de impacto
Autores: Fan, Junfang; Dou, Denghui; Ji, Yi
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Estrategias de guía y control basadas en aprendizaje por refuerzo profundo con restricciones de ángulo de impacto
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Aeroespacial
Palabras clave
Estrategias propuestas
Aprendizaje por refuerzo profundo
Guía y control
Error de ángulo de impacto
Proceso de decisión de Markov
Mecanismo de recompensa
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 32
Citaciones: Sin citaciones
En este estudio, se proponen dos estrategias diferentes de guía y control restringidas por el ángulo de impacto utilizando aprendizaje por refuerzo profundo (DRL). Las estrategias propuestas se basan en tipos de guía y control de bucle dual e integrado. Para abordar la dinámica de objetos voladores y el mecanismo de control, se utiliza un proceso de decisión de Markov para resolver el problema de guía y control, y se utiliza un error de ángulo de impacto en tiempo real en el vector de estado para mejorar la aplicabilidad del modelo. Además, se diseña un mecanismo de recompensa razonable basado en el componente de estado que reduce tanto la distancia de fallo como el error de ángulo de impacto y resuelve el problema de recompensas escasas en DRL. Además, para superar los efectos negativos de distribuciones no acotadas en espacios de acción acotados, se utiliza una distribución Beta en lugar de una distribución Gaussiana en el algoritmo de optimización de políticas proximales para el muestreo de políticas. La inicialización del estado se realiza utilizando un método de muestreo ajustado a contextos de ingeniería, y la estrategia de control se adapta a una amplia gama de escenarios operativos con diferentes ángulos de impacto. Experimentos de simulación y Monte Carlo en varios escenarios muestran que, en comparación con otros métodos mencionados en el experimento de este documento, la estrategia DRL propuesta tiene errores de ángulo de impacto y distancias de fallo más pequeñas, lo que demuestra la efectividad, aplicabilidad y robustez del método.
Descripción
En este estudio, se proponen dos estrategias diferentes de guía y control restringidas por el ángulo de impacto utilizando aprendizaje por refuerzo profundo (DRL). Las estrategias propuestas se basan en tipos de guía y control de bucle dual e integrado. Para abordar la dinámica de objetos voladores y el mecanismo de control, se utiliza un proceso de decisión de Markov para resolver el problema de guía y control, y se utiliza un error de ángulo de impacto en tiempo real en el vector de estado para mejorar la aplicabilidad del modelo. Además, se diseña un mecanismo de recompensa razonable basado en el componente de estado que reduce tanto la distancia de fallo como el error de ángulo de impacto y resuelve el problema de recompensas escasas en DRL. Además, para superar los efectos negativos de distribuciones no acotadas en espacios de acción acotados, se utiliza una distribución Beta en lugar de una distribución Gaussiana en el algoritmo de optimización de políticas proximales para el muestreo de políticas. La inicialización del estado se realiza utilizando un método de muestreo ajustado a contextos de ingeniería, y la estrategia de control se adapta a una amplia gama de escenarios operativos con diferentes ángulos de impacto. Experimentos de simulación y Monte Carlo en varios escenarios muestran que, en comparación con otros métodos mencionados en el experimento de este documento, la estrategia DRL propuesta tiene errores de ángulo de impacto y distancias de fallo más pequeñas, lo que demuestra la efectividad, aplicabilidad y robustez del método.