Con la creciente adopción de sistemas cooperativos de múltiples UAV en aplicaciones como la entrega de carga y la exploración terrestre, la demanda de métodos de planificación de rutas escalables y eficientes ha crecido sustancialmente. Sin embargo, los algoritmos heurísticos tradicionales a menudo quedan atrapados en óptimos locales, requieren ajustes manuales específicos para cada tarea y exhiben capacidades de generalización limitadas. Además, su dependencia de la optimización iterativa los hace inadecuados para aplicaciones en tiempo real a gran escala. Para abordar estos desafíos, este documento presenta un marco de aprendizaje profundo por refuerzo de extremo a extremo que elude la dependencia de reglas heurísticas elaboradas a mano. El método propuesto aprovecha una arquitectura de codificador-decodificador con atención de múltiples cabezas (MHA), donde el codificador genera incrustaciones para los UAV y los parámetros de la tarea, mientras que el decodificador selecciona dinámicamente acciones basadas en incrustaciones contextuales y aplica viabilidad a través de un mecanismo de enmascaramiento. El módulo MHA modela eficazmente las dependencias espaciales-tarea globales entre nodos, mejorando la calidad de la solución. Además, integramos una línea base de despliegue codicioso de múltiples inicios para evaluar diversas trayectorias a través de búsquedas codiciosas paralelizadas, reduciendo así la varianza del gradiente de política y mejorando la estabilidad del entrenamiento. Los experimentos demostraron mejoras significativas en escalabilidad, particularmente en escenarios de 100 nodos, donde nuestro método redujo drásticamente el tiempo de inferencia en comparación con métodos convencionales, manteniendo una eficiencia competitiva en el costo de la ruta. Una validación adicional en entornos de misión simulados y datos geoespaciales del mundo real (provenientes de Google Earth) subrayó la robusta generalización del marco. Este trabajo avanza en la planificación de misiones de UAV a gran escala al ofrecer una solución escalable, adaptativa y computacionalmente eficiente.