Este trabajo investiga tareas de navegación multi-UAV donde múltiples drones necesitan alcanzar objetivos inicialmente no asignados en un tiempo limitado. El aprendizaje por refuerzo (RL) se ha convertido recientemente en un enfoque popular para tales tareas. Sin embargo, el RL tiene dificultades con la baja eficiencia de muestra al explorar directamente políticas (casi) óptimas en un gran espacio de exploración, especialmente con un número creciente de drones (por ejemplo, más de 10 drones) o en entornos complejos (por ejemplo, un simulador de quadrotor 3D). Para abordar estos desafíos, este documento propone el Planificador Escalable Basado en Grafos Multi-UAV (MASP), un planificador jerárquico condicionado por objetivos que reduce la complejidad espacial al descomponer el gran espacio de exploración en múltiples subespacios condicionados por objetivos. MASP consiste en una política de alto nivel que optimiza la asignación de objetivos y una política de bajo nivel que promueve la navegación hacia los objetivos. MASP utiliza una representación basada en grafos e introduce un mecanismo basado en atención, así como un mecanismo de división de grupos para mejorar la cooperación entre drones y la adaptabilidad a diferentes tamaños de equipo. Los resultados demuestran que MASP supera a RL y a las líneas base basadas en planificación en eficiencia de tarea y ejecución. En comparación con los competidores basados en planificación, MASP mejora la eficiencia de tarea en más del 27.92% en un entorno continuo de quadrotor 3D con 20 drones.