Para abordar el problema de los escenarios de aplicación limitados asociados con la garantía de conectividad basada en la planificación de trayectorias bidimensionales (2D), este documento propone un método mejorado de planificación de trayectorias tridimensionales (3D) basado en el aprendizaje por refuerzo profundo (DRL) para la comunicación de vehículos aéreos no tripulados (UAV) celulares. Al considerar el entorno espacial 3D e integrar factores como el tiempo de finalización de la misión del UAV y la conectividad, desarrollamos una función objetivo para la optimización de rutas y utilizamos la avanzada red Q doble en duelo (D3QN) para optimizarla. Además, introducimos el mecanismo de repetición de experiencia priorizada (PER) para mejorar la eficiencia del aprendizaje y acelerar la convergencia. Con el fin de ayudar aún más en la planificación de trayectorias, nuestro método incorpora un marco de mapeo de navegación y radio simultáneo (SNARM) que genera mapas de radio 3D simulados y simula procesos de vuelo utilizando señales de medición del UAV durante el vuelo, reduciendo así los costos de vuelo reales. Los resultados de la simulación demuestran que el enfoque propuesto permite a los UAV evitar regiones de cobertura débil en el espacio, reduciendo así la suma ponderada del tiempo de vuelo y el tiempo de interrupción esperado.