La tecnología de toma de decisiones colaborativa distribuida entre múltiples agentes es clave para la inteligencia artificial general. Este documento toma como escenario de prueba el entorno de combate colaborativo Unity3D desarrollado internamente, estableciendo una tarea que requiere que vehículos aéreos no tripulados (UAV) heterogéneos realicen una toma de decisiones distribuida y completen una tarea de cooperación. Enfocándose en el problema del bajo rendimiento del algoritmo de optimización de políticas proximales (PPO) tradicional en el campo de escenarios complejos de colaboración entre múltiples agentes basado en el marco de entrenamiento distribuido Ray, se mejora la red Crítica en el algoritmo PPO para aprender una función de valor centralizada, y se propone el algoritmo de optimización de políticas proximales para múltiples agentes (MAPPO). Al mismo tiempo, se adopta el método de entrenamiento por herencia basado en el aprendizaje por cursos para mejorar el rendimiento de generalización del algoritmo. En el experimento, MAPPO puede obtener la mayor recompensa acumulada promedio en comparación con otros algoritmos y puede completar el objetivo de la tarea con el menor número de pasos después de la convergencia, lo que demuestra plenamente que el algoritmo MAPPO supera al estado del arte.