Los métodos existentes de aprendizaje por refuerzo profundo multi-agente (MADRL) para la navegación de múltiples UAV enfrentan desafíos en la generalización, particularmente cuando se aplican a entornos complejos no vistos. Para abordar estas limitaciones, proponemos un método de Optimización de Políticas Proximales Basado en un Codificador de Doble Transformador (DTPPO). DTPPO mejora la colaboración entre múltiples UAV a través de un Transformador Espacial, que modela las dinámicas entre agentes, y un Transformador Temporal, que captura las dependencias temporales para mejorar la generalización en diversos entornos. Esta arquitectura permite a los UAV navegar en nuevos entornos no vistos sin necesidad de reentrenamiento. Simulaciones extensas demuestran que DTPPO supera a los métodos MADRL actuales en términos de transferibilidad, evitación de obstáculos y eficiencia de navegación en entornos con diferentes densidades de obstáculos. Los resultados confirman la efectividad de DTPPO como una solución robusta para la navegación de múltiples UAV en escenarios tanto conocidos como no vistos.