La rápida popularidad de los UAV ha fomentado el desarrollo de tecnología Anti-UAV. El seguimiento visual basado en detectores infrarrojos para UAV proporciona una solución alentadora para los Anti-UAV. Sin embargo, aún enfrenta el problema de la inestabilidad del seguimiento causada por el cruce térmico ambiental y distractores similares. Para abordar estos problemas, proponemos una red siamés enfocada en el espacio y el tiempo para el seguimiento de UAV infrarrojos, llamada STFTrack. Este método emplea una estrategia de enfoque de dos niveles, de global a local. Primero, se construye una columna vertebral siamés basada en pirámides de características para mejorar la expresión de características de los UAV infrarrojos a través de la fusión de características a diferentes escalas. Al combinar características de plantilla y de movimiento, guiamos las cajas de anclaje previas hacia la región sospechosa para permitir la selección adaptativa de la región de búsqueda, suprimiendo así de manera efectiva la interferencia de fondo y generando candidatos de alta calidad. Además, proponemos un RCNN discriminativo por instancia basado en aprendizaje métrico para centrarse en el UAV objetivo entre los candidatos. Al medir la distancia de características entre los candidatos y la plantilla, ayuda a discriminar el objetivo óptimo de los candidatos, mejorando así la discriminación del método propuesto para UAV infrarrojos. Experimentos extensos en el conjunto de datos Anti-UAV demuestran que el método propuesto logra un rendimiento excepcional para el seguimiento infrarrojo, con una precisión del 91.2%, una tasa de éxito del 66.6% y una precisión de superposición promedio del 67.7%, superando el algoritmo base en un 2.3%, 2.7% y 3.5%, respectivamente. La evaluación basada en atributos demuestra que el método propuesto logra efectos de seguimiento robustos en escenas desafiantes como movimiento rápido, cruce térmico y distractores similares. La evaluación en el conjunto de datos LSOTB-TIR muestra que el método propuesto alcanza una precisión del 77.2% y una tasa de éxito del 63.4%, superando a otros rastreadores avanzados.