La demanda de operaciones de enjambres de UAV autónomos ha ido en aumento tras el éxito de los UAV en diversas tareas desafiantes. Sin embargo, los enfoques convencionales de control de enjambres son inadecuados para hacer frente a la escalabilidad del enjambre, los requisitos computacionales y el rendimiento en tiempo real. En este artículo, demostramos la capacidad de los enfoques emergentes de aprendizaje por refuerzo multiagente (MARL) para tomar decisiones secuenciales de manera exitosa y eficiente durante tareas colaborativas de enjambres de UAV. Proponemos un enfoque MARL escalable y en tiempo real para la navegación colaborativa de UAV, donde los miembros del enjambre deben llegar a ubicaciones objetivo al mismo tiempo. Se utilizan entrenamiento centralizado y ejecución descentralizada (CTDE) para lograr esto, donde se emplea una combinación de refuerzo negativo y positivo en la función de recompensa. Se utiliza el aprendizaje por currículos para facilitar el rendimiento buscado, especialmente debido a la alta complejidad del problema que requiere una exploración extensa. Se utiliza un modelo de UAV que se asemeja mucho a la plataforma física respectiva para entrenar el marco propuesto y hacer que el entrenamiento y las pruebas sean realistas. La escalabilidad de la plataforma a varios tamaños de enjambre, velocidades, posiciones objetivo, dimensiones del entorno y masas de UAV se ha demostrado en (1) un escenario de entrega de carga y (2) formación de enjambres de UAV sin requerir ningún reentrenamiento o ajuste fino de los agentes. Los resultados de simulación obtenidos han demostrado la efectividad y generalizabilidad de nuestro marco MARL propuesto para la navegación cooperativa de UAV.