Con el desarrollo de la visión por computadora y la tecnología de Vehículos Aéreos No Tripulados (VANT), el seguimiento visual de objetos se ha convertido en una tecnología central indispensable para los VANT, y se ha utilizado ampliamente en campos civiles y militares. El seguimiento visual de objetos desde la perspectiva de un VANT experimenta interferencias de diversas condiciones complejas, como el desorden de fondo, la oclusión y la pérdida de vista, lo que puede llevar fácilmente a un deslizamiento del seguimiento. Una vez que ocurre el deslizamiento del seguimiento, esto conducirá a un fracaso casi completo del seguimiento posterior. Actualmente, pocos rastreadores han sido diseñados para resolver el problema del deslizamiento del seguimiento. Por lo tanto, este documento propone un algoritmo de seguimiento basado en la predicción de movimiento y la búsqueda por bloques para abordar el problema del deslizamiento del seguimiento causado por diversas condiciones complejas. Específicamente, cuando el rastreador experimenta deslizamiento, primero utilizamos un filtro de Kalman para predecir el estado de movimiento del objetivo, y luego utilizamos un módulo de búsqueda por bloques para reubicar el objetivo. Además, para mejorar la capacidad del rastreador de adaptarse a los cambios en la apariencia del objetivo y en el entorno, proponemos una red de actualización de plantillas dinámica (DTUN) que permite al rastreador tomar decisiones de plantilla apropiadas según diversas condiciones de seguimiento. También introducimos tres métricas de evaluación de seguimiento: es decir, energía de correlación pico promedio, relación de cambio de tamaño y puntuación de seguimiento. Estas sirven como información previa para la identificación del estado de seguimiento en el DTUN y el módulo de predicción por bloques. Experimentos extensivos y comparaciones con muchos algoritmos competitivos en cinco puntos de referencia aéreos, UAV20L, UAV123, UAVDT, DTB70 y VisDrone2018-SOT, demuestran que nuestro método logra mejoras significativas en el rendimiento. Especialmente en el seguimiento a largo plazo de UAV20L, nuestro método supera la línea base en términos de tasa de éxito y precisión en un 19.1% y 20.8%, respectivamente. Esto demuestra el rendimiento superior de nuestro método en la tarea de seguimiento a largo plazo desde la perspectiva de un VANT, y logramos una velocidad en tiempo real de 43 FPS.