Presentamos un enfoque novedoso para generar una estrategia de guía cooperativa utilizando aprendizaje por refuerzo profundo para abordar el desafío de los ataques cooperativos de múltiples misiles bajo condiciones de velocidad incontrolable. Este método emplea el algoritmo de optimización de políticas proximales para múltiples agentes (MAPPO) para construir un marco de espacio de acción continua para la guía cooperativa inteligente. Se diseña una función de recompensa reconfigurada heurísticamente para mejorar la guía cooperativa entre los agentes, permitiendo un compromiso efectivo con el objetivo mientras se mitiga la baja eficiencia de aprendizaje causada por señales de recompensa escasas en el entorno de guía. Además, se introduce un enfoque de aprendizaje curricular en múltiples etapas para suavizar las acciones de los agentes, reduciendo efectivamente las oscilaciones de acción que surgen del muestreo independiente en el aprendizaje por refuerzo. Los resultados de la simulación demuestran que la ley de guía basada en aprendizaje por refuerzo profundo propuesta puede lograr con éxito ataques cooperativos en una variedad de condiciones iniciales aleatorias.