Impulsado por el rápido avance de la tecnología de Vehículos Aéreos No Tripulados (VANT), el campo del seguimiento de objetos con VANT ha sido testigo de un progreso significativo. Este estudio presenta una innovadora arquitectura de seguimiento de VANT de un solo flujo, denominada NT-Track, que se dedica a mejorar la eficiencia y precisión de las tareas de seguimiento en tiempo real. Abordando las deficiencias de los sistemas de seguimiento existentes en la captura de relaciones temporales entre fotogramas consecutivos, NT-Track analiza meticulosamente los cambios de posición de los objetivos a través de los fotogramas y aprovecha la similitud de las áreas circundantes para extraer información de características. Además, nuestro método integra información espacial y temporal de manera fluida en un marco unificado mediante la introducción de una técnica de fusión de características temporales, lo que refuerza el rendimiento general del modelo. NT-Track también incorpora un módulo de extracción de características del vecindario espacial, que se centra en identificar y extraer características dentro del vecindario del objetivo en cada fotograma, asegurando un enfoque continuo en el objetivo durante el procesamiento entre fotogramas. Al emplear una red de respaldo Transformer mejorada, nuestro enfoque integra efectivamente la información espaciotemporal, mejorando la precisión y robustez del seguimiento. Nuestros resultados experimentales en varios conjuntos de datos de referencia desafiantes demuestran que NT-Track supera a los rastreadores ligeros y de aprendizaje profundo existentes en términos de precisión y tasa de éxito. Es notable que, en el conjunto de datos de referencia VisDrone2018, NT-Track logró una tasa de precisión del 90% por primera vez, un logro que no solo muestra su excepcional rendimiento en entornos complejos, sino que también confirma su potencial y efectividad en aplicaciones prácticas.