La realización del seguimiento de trayectorias es crucial para mejorar la precisión y eficiencia de las operaciones de vehículos no tripulados. En este documento, se propone un método de control jerárquico de seguimiento de trayectorias basado en DDPG-PP para mejorar la precisión del seguimiento de trayectorias de vehículos no tripulados con orugas. Con la restricción del objetivo de minimizar el error de seguimiento de trayectorias, con el controlador superior, adoptamos el método DDPG para construir un optimizador de distancia de anticipación adaptativo en el que la distancia de anticipación se ajustaba dinámicamente en tiempo real utilizando una estrategia de aprendizaje por refuerzo. Mientras tanto, se llevó a cabo un entrenamiento de aprendizaje por refuerzo con trayectorias generadas aleatoriamente para mejorar la capacidad de generalización del modelo. Basado en la distancia de anticipación óptima salida de la capa superior, la capa inferior realiza un control de bucle cerrado preciso del par, necesario para la dirección, basado en el método PP. Los resultados de simulación muestran que la precisión del seguimiento de trayectorias del método propuesto es mejor que la de los métodos LQR y PP. El método propuesto reduce el error de seguimiento promedio en un 94.0% y un 79.2% y el error de rumbo promedio en un 80.4% y un 65.0% bajo trayectorias complejas en comparación con los métodos LQR y PP, respectivamente.