El seguimiento de vehículos aéreos no tripulados (UAV) en video infrarrojo es una tecnología esencial para la tarea anti-UAV. Dadas las frecuentes desapariciones de objetivos UAV causadas por oclusión o al salir del campo de visión, los rastreadores globales, que tienen la capacidad única de recapturar objetivos, se utilizan ampliamente en el seguimiento de UAV en infrarrojo. Sin embargo, los rastreadores globales tienen un rendimiento deficiente al tratar con grandes variaciones en la escala del objetivo porque no pueden mantener una consistencia aproximada entre los tamaños de los objetivos en la plantilla y la región de búsqueda. Para mejorar la adaptación de escala de los rastreadores globales, proponemos un módulo de mejora de adaptación de escala plug-and-play (SAEM). Este puede generar un núcleo de mejora de adaptación de escala de acuerdo con el tamaño del objetivo en el marco anterior, y luego realizar una mejora de adaptación de escala implícita en las características de la plantilla del objetivo extraído. Para optimizar el entrenamiento, introducimos una rama auxiliar para supervisar el aprendizaje de SAEM y añadimos ruido gaussiano al tamaño de entrada para mejorar su robustez. Además, proponemos un rastreador global sin anclaje de una sola etapa (OSGT), que tiene una estructura más concisa que otros rastreadores globales para cumplir con el requisito de tiempo real. Experimentos extensivos en tres conjuntos de datos del Desafío Anti-UAV y el conjunto de datos Anti-UAV410 demuestran el rendimiento superior de nuestro método y verifican que nuestro SAEM propuesto puede mejorar efectivamente la adaptación de escala de los rastreadores globales existentes.