Para resolver los problemas de toma de decisiones autónomas y la operación cooperativa de múltiples vehículos aéreos de combate no tripulados (UCAV) en combate aéreo más allá del alcance visual, este documento propone un método de toma de decisiones en combate aéreo basado en un algoritmo de optimización de políticas proximales de múltiples agentes (MAPPO). En primer lugar, se establece el modelo del avión de combate no tripulado en la plataforma de simulación y se diseña la biblioteca de maniobras correspondiente. Con el fin de simular el verdadero combate aéreo más allá del alcance visual, se establece el modelo del área de ataque de misiles y se da la probabilidad de que ocurra daño tanto para el enemigo como para nosotros. En segundo lugar, para superar el problema de retorno escaso del aprendizaje por refuerzo tradicional, de acuerdo con el ángulo, velocidad, altitud, distancia del avión de combate no tripulado y el daño del área de ataque de misiles, este documento diseña una función de recompensa integral. Finalmente, se adopta la idea de entrenamiento centralizado e implementación distribuida para mejorar la capacidad de toma de decisiones del avión de combate no tripulado y mejorar la eficiencia de entrenamiento del algoritmo. Los resultados de la simulación muestran que este algoritmo puede llevar a cabo un ejercicio de confrontación de combate aéreo multiavión, formar nuevas decisiones tácticas en el proceso del ejercicio y proporcionar nuevas ideas para el combate aéreo multi-UCAV.