La navegación autónoma de vehículos aéreos no tripulados (VANT) basada en el aprendizaje por refuerzo profundo (DRL) ha avanzado considerablemente. Sin embargo, la mayoría de los estudios asumen escenarios de tareas relativamente simples y no consideran el impacto de escenarios de tareas complejos en el rendimiento de vuelo de los VANT. Este artículo propone un algoritmo de navegación autónoma basado en DRL para VANT, que permite la planificación autónoma de rutas en entornos de alta densidad y altamente dinámicos. Este algoritmo propone un método de representación del espacio de estados que contiene información de posición e información de ángulo al analizar el impacto de los cambios de posición y de ángulo de los VANT en el rendimiento de navegación en entornos complejos. Además, se construye una función de recompensa dinámica basada en una función de recompensa no dispersa para equilibrar el comportamiento conservador y el comportamiento exploratorio del agente durante el proceso de entrenamiento del modelo. Los resultados de múltiples experimentos comparativos muestran que el algoritmo propuesto no solo tiene el mejor rendimiento de navegación autónoma, sino que también presenta la eficiencia de vuelo óptima en entornos complejos.