Este documento propone un controlador de agente inteligente híbrido (HIAC) para vehículos aéreos tripulados (MAV) / vehículos aéreos no tripulados (UAV) en formación bajo la estrategia de control líder-seguidor. Basado en el modelo dinámico de alta fidelidad de tres grados de libertad (DOF) del UAV, este método desacopló sistemas de múltiples entradas y múltiples salidas (MIMO) en múltiples sistemas de entrada única y salida única (SISO). Luego, combinó de manera innovadora el gradiente de política determinista profundo (DDPG) y la red Q profunda doble (DDQN) para construir un modelo de agente de aprendizaje por refuerzo híbrido, que se utilizó para generar comandos de estado deseados a bordo. Finalmente, adoptamos la ley de control de inversión dinámica y el filtro de retardo de primer orden para mejorar el proceso de control de vuelo real. Bajo las condiciones de trabajo de una maniobra de sobrecarga grande en forma de S continua para el MAV, las simulaciones verificaron que el UAV puede lograr un seguimiento preciso de la trayectoria compleja del MAV. En comparación con el regulador cuadrático lineal (LQR) tradicional y el DDPG, el HIAC tiene mejor eficiencia y precisión de control.