Con la mejora del rendimiento e inteligencia de los UAV en los últimos años, es especialmente importante que los vehículos aéreos no tripulados (UAV) mejoren su capacidad de combate aéreo autónomo. Con el objetivo de resolver el problema de cómo mejorar la capacidad de decisión de maniobras de combate aéreo autónomo de los UAV para que se asemeje a la manipulación manual, este documento propone un método de decisión de maniobras de combate aéreo autónomo basado en la combinación de comando de operación simulado y el algoritmo de gradiente de política determinista profundo de valor de recompensa final (FRV-DDPG). En primer lugar, se establece un modelo de seis grados de libertad (6-DOF) basado en el proceso de combate aéreo, el movimiento del UAV y el movimiento del misil. En segundo lugar, se diseña un método de predicción basado en la función de base radial de optimización por enjambre de partículas (PSO-RBF) para simular el comando de operación del avión enemigo, lo que hace que el proceso de entrenamiento sea más realista, y luego se propone una estrategia DDPG mejorada, que devuelve el valor de recompensa final al valor de recompensa anterior en una cierta proporción de tiempo para el entrenamiento fuera de línea, lo que puede mejorar la velocidad de convergencia del algoritmo. Finalmente, se verifica la efectividad del algoritmo construyendo un entorno de simulación. Los resultados de la simulación muestran que el algoritmo puede mejorar la capacidad de toma de decisiones de maniobras de combate aéreo autónomo de los UAV.