Debido a la falta de conjuntos de datos de entrenamiento de InfraRojo Térmico (TIR) etiquetados a gran escala, la mayoría de los rastreadores TIR existentes se entrenan directamente en conjuntos de datos RGB. Sin embargo, los métodos de seguimiento entrenados en conjuntos de datos RGB sufren una caída significativa en los datos TIR, debido al problema de cambio de dominio. Para abordar este problema, proponemos un marco de Adaptación de Dominio Progresivo para el seguimiento TIR (PDAT), que puede transferir efectivamente el conocimiento de conjuntos de datos RGB etiquetados al seguimiento TIR sin necesidad de una gran cantidad de datos TIR etiquetados. El marco consta de un módulo de Adaptación de Dominio Global basado en Adversarios y un módulo de Adaptación de Subdominio basado en Agrupamiento para alinear gradualmente las distribuciones de características entre los dominios RGB y TIR. Además, recopilamos un conjunto de datos TIR a gran escala con más de 1,48 millones de imágenes TIR no etiquetadas para entrenar el marco de adaptación de dominio propuesto. Nuestros resultados experimentales en cinco bancos de pruebas de seguimiento TIR muestran que el método propuesto mejora el rendimiento de seguimiento base sin comprometer la velocidad de seguimiento. Notablemente, en LSOTB-TIR100, LSOTB-TIR120 y PTB-TIR, las tasas de éxito fueron aproximadamente 6 puntos porcentuales más altas que la base, demostrando su efectividad.