El uso creciente de vehículos aéreos no tripulados (VANT) está abrumando a los controladores de tráfico aéreo para la gestión segura de los vuelos. Existe una necesidad creciente de técnicas sofisticadas de planificación de rutas que puedan equilibrar los objetivos de la misión con el imperativo de minimizar la exposición al radar y reducir la carga cognitiva de los controladores de tráfico aéreo. Este documento aborda este desafío desarrollando una metodología innovadora de planificación de rutas basada en un algoritmo de Optimización de Políticas Proximales (PPO) que mejora la navegación de los VANT en entornos densos en radar. La idea clave es dotar a los VANT, incluidas las futuras variantes furtivas, de la capacidad de navegar de manera segura y efectiva, asegurando su viabilidad operativa en entornos de radar congestionados. Se propone un mecanismo de modelado de acciones para optimizar la ruta del VANT y acelerar la convergencia del algoritmo en general. Se realizan estudios de simulación en entornos con diferentes números de radares y capacidades de detección. Los resultados muestran las ventajas del enfoque propuesto y las principales direcciones de investigación en este campo.