El combate aéreo cooperativo de múltiples vehículos aéreos no tripulados (multi-UAV), que es una forma importante del combate aéreo futuro, tiene altos requisitos para la autonomía y cooperación de los vehículos aéreos no tripulados. Por lo tanto, es de gran importancia estudiar el método de toma de decisiones para el combate aéreo cooperativo de multi-UAV, ya que los métodos convencionales son difíciles de aplicar para resolver los problemas de combate aéreo cooperativo de alta complejidad y alta dinámica. Este documento propone un algoritmo de crítico de doble actor suave multi-agente (MADSAC) para resolver el problema de toma de decisiones cooperativas de multi-UAV. El MADSAC logra el combate aéreo cooperativo de multi-UAV al tratar el problema como un juego completamente cooperativo utilizando un proceso de decisión de Markov parcialmente observable descentralizado y un marco de ejecución distribuido entrenado centralmente. El uso de la teoría de máxima entropía en el proceso de actualización hace que el método sea más exploratorio. Mientras tanto, el MADSAC utiliza críticos centralizados dobles, redes objetivo y actualizaciones de políticas retrasadas para resolver de manera efectiva los problemas de sobreestimación y acumulación de errores. Además, los críticos centralizados dobles basados en el mecanismo de atención mejoran la escalabilidad y la eficiencia de aprendizaje del MADSAC. Finalmente, los experimentos de combate aéreo cooperativo de multi-UAV validan la efectividad del MADSAC.