El seguimiento de objetos visuales utilizando imágenes de luz visible e imágenes térmicas infrarrojas, denominado seguimiento RGB-T, ha atraído recientemente una atención creciente en la comunidad de seguimiento. Los métodos basados en redes neuronales profundas se están convirtiendo en los rastreadores RGB-T más populares, pero aún deben equilibrar la robustez y la velocidad de cálculo. Se propone un nuevo rastreador con arquitectura Siamesa para obtener la ubicación precisa del objeto y cumplir con los requisitos de tiempo real. En primer lugar, se diseña un módulo de penalización de peso multimodal para asignar diferentes pesos a las características RGB e infrarrojas térmicas. En segundo lugar, se propone un nuevo módulo de coincidencia de píxeles para calcular la similitud entre cada píxel en la búsqueda y las características de la plantilla, lo que puede evitar traer información de fondo excesiva en comparación con la operación regular de correlación cruzada. Finalmente, se presenta una red de predicción de cuadros delimitadores sin anclaje mejorada para reducir aún más la interferencia de la información de fondo. Los resultados experimentales en los conjuntos de datos de referencia estándar de seguimiento RGB-T muestran que el método propuesto logra una mejor precisión y tasa de éxito con una velocidad de más de 34 cuadros por segundo que satisface el seguimiento en tiempo real.