El seguimiento de fusión de imágenes RGB y térmicas infrarrojas (RGBT) ha atraído un interés generalizado en el seguimiento de objetivos al aprovechar los beneficios complementarios de la información de ambas modalidades, visible e infrarroja térmica, pero lograr robustez mientras se opera en tiempo real sigue siendo un desafío. Orientado a este problema, este documento propone una red de seguimiento en tiempo real basada en el mecanismo de atención, que puede mejorar la velocidad de seguimiento con un modelo más pequeño y, al mismo tiempo, introducir el mecanismo de atención en el módulo para fortalecer la atención a las características importantes, lo que puede garantizar cierta precisión de seguimiento. Específicamente, las características modales de visible e infrarrojo térmico se extraen por separado utilizando el esqueleto de la estructura de doble flujo; luego, las características importantes en los dos modos se seleccionan y mejoran utilizando el mecanismo de atención de canal en el módulo de mejora de selección de características (FSEM) y el Transformador, mientras que el ruido se reduce utilizando circuitos de compuerta. Finalmente, la fusión de mejora final se realiza utilizando el módulo de fusión de ajuste adaptativo de canal espacial (SCAAM) en ambas dimensiones espaciales y de canal. El PR/SR del algoritmo propuesto probado en los conjuntos de datos GTOT, RGBT234 y LasHeR son 90,0%/73,0%, 84,4%/60,2% y 46,8%/34,3%, respectivamente, y en general se ha logrado una buena precisión de seguimiento, con una velocidad de hasta 32,3067 fps, cumpliendo con el requisito de tiempo real del modelo.