En los últimos años, el seguimiento visual se ha empleado en todos los ámbitos de la vida. Los rastreadores siameses formulan el problema de seguimiento como un proceso de coincidencia de plantillas, y la mayoría de ellos pueden cumplir con los requisitos en tiempo real, lo que los hace más adecuados para el seguimiento de UAV. Debido a que los rastreadores existentes solo pueden usar el primer fotograma de una secuencia de video como referencia, la apariencia del objetivo rastreado cambiará cuando aparezca una oclusión, un movimiento rápido o un objetivo similar, lo que resulta en un desplazamiento del seguimiento. Es difícil recuperar el proceso de seguimiento una vez que ocurre el fenómeno de desplazamiento. Por lo tanto, proponemos un marco siamés consciente del movimiento para ayudar a los rastreadores siameses a detectar el desplazamiento del seguimiento a lo largo del tiempo. El rastreador base primero produce los resultados de seguimiento originales, después de lo cual el módulo de detección de desplazamiento determina si ocurre o no el desplazamiento del seguimiento. Finalmente, se implementan las estrategias de recuperación de seguimiento correspondientes. Se pueden obtener resultados de seguimiento más estables y confiables utilizando la capacidad de predicción a corto plazo del filtro de Kalman y estrategias de recuperación de seguimiento más efectivas para evitar el desplazamiento del seguimiento. Utilizamos la red de propuesta de región siamés (SiamRPN), un representante típico de un algoritmo basado en anclajes, y la clasificación y regresión siamesa (SiamCAR), un representante típico de un algoritmo sin anclajes, como los rastreadores base para probar la efectividad del método propuesto. Se realizaron experimentos en tres conjuntos de datos públicos: UAV123, UAV20L y UAVDT. Los rastreadores modificados (MaSiamRPN y MaSiamCAR) superaron al rastreador base.