Estrategia de Control Robusto para Dron Quadrotor Usando Gradiente de Política Determinista Profunda Basada en Modelo de Referencia
Autores: Liu, Hongxun; Suzuki, Satoshi; Wang, Wei; Liu, Hao; Wang, Qi
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Estrategia de Control Robusto para Dron Quadrotor Usando Gradiente de Política Determinista Profunda Basada en Modelo de Referencia
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Aprendizaje por refuerzo
Control de drones
Red neuronal profunda
Controlador de vuelo
Drones cuadricópteros
Estrategia de control
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Debido a las diferencias entre las simulaciones y el mundo real, la aplicación del aprendizaje por refuerzo (RL) en el control de drones enfrenta problemas como oscilaciones e inestabilidad. Este estudio propone una estrategia de control para drones cuadricópteros utilizando un modelo de referencia (RM) basado en RL profundo. A diferencia de los estudios convencionales asociados con el control óptimo y adaptativo, este método utiliza una red neuronal profunda para diseñar un controlador de vuelo para drones cuadricópteros, que puede mapear los estados del dron y los valores objetivo a comandos de control directamente. El método se desarrolló basado en un algoritmo de gradiente de política determinista profunda (DDPG) combinado con la red neuronal profunda. El RM se utilizó además para la estructura actor-crítico para mejorar la robustez y la estabilidad dinámica. La estrategia de control de vuelo basada en RM-DDPG se confirmó como práctica a través de un experimento de dos partes. Primero, se construyó un modelo de dron cuadricóptero basado en un dron real, y se entrenó la política fuera de línea en él. El rendimiento de la política se evaluó a través de simulaciones mientras se confirmaba la transición de los estados del sistema y la salida del controlador. La estrategia propuesta puede eliminar oscilaciones y errores de estado estacionario y puede lograr resultados robustos para el valor objetivo y la interferencia externa.
Descripción
Debido a las diferencias entre las simulaciones y el mundo real, la aplicación del aprendizaje por refuerzo (RL) en el control de drones enfrenta problemas como oscilaciones e inestabilidad. Este estudio propone una estrategia de control para drones cuadricópteros utilizando un modelo de referencia (RM) basado en RL profundo. A diferencia de los estudios convencionales asociados con el control óptimo y adaptativo, este método utiliza una red neuronal profunda para diseñar un controlador de vuelo para drones cuadricópteros, que puede mapear los estados del dron y los valores objetivo a comandos de control directamente. El método se desarrolló basado en un algoritmo de gradiente de política determinista profunda (DDPG) combinado con la red neuronal profunda. El RM se utilizó además para la estructura actor-crítico para mejorar la robustez y la estabilidad dinámica. La estrategia de control de vuelo basada en RM-DDPG se confirmó como práctica a través de un experimento de dos partes. Primero, se construyó un modelo de dron cuadricóptero basado en un dron real, y se entrenó la política fuera de línea en él. El rendimiento de la política se evaluó a través de simulaciones mientras se confirmaba la transición de los estados del sistema y la salida del controlador. La estrategia propuesta puede eliminar oscilaciones y errores de estado estacionario y puede lograr resultados robustos para el valor objetivo y la interferencia externa.