El helicóptero no tripulado (UH) se utiliza a menudo para misiones de asalto porque puede evadir la detección por radar volando a altitudes ultra bajas. La planificación de rutas es la tecnología clave para realizar la acción autónoma del UH. Por un lado, el área de cobertura de radar que cambia dinámicamente y las montañas en el entorno de bajo espacio aéreo afectarán seriamente la seguridad del vuelo del UH. Por otro lado, el enorme espacio de estado del entorno tridimensional (3D) también dificultará la convergencia de los algoritmos tradicionales. Para abordar los problemas mencionados, se propuso un algoritmo de red Q profunda de duelo mejorada por memoria (ME-dueling DQN). Primero, se diseñó una función de recompensa integral, que puede guiar al algoritmo para converger rápidamente y mejorar de manera efectiva el problema de recompensa escasa. Luego, introdujimos una estructura de doble memoria y propusimos un mecanismo mejorado por memoria, que puede reducir la exploración inválida, mejorar aún más la eficiencia de aprendizaje del algoritmo y hacer que el algoritmo sea más estable. Finalmente, se verificó la capacidad de planificación de rutas del algoritmo propuesto en múltiples entornos experimentales. Los experimentos mostraron que el algoritmo propuesto tiene buena adaptabilidad ambiental y puede ayudar al UH a identificar con precisión áreas peligrosas y planificar una ruta de vuelo segura y confiable.