Los rastreadores basados en redes siamesas han desarrollado rápidamente en el campo del seguimiento visual de objetos recientemente. Muchos rastreadores basados en redes siamesas actualmente en uso dependen de la fusión de resultados para combinar el mapa de resultados de clasificación y el mapa de resultados de regresión. Sin embargo, estos mapas de resultados se obtienen del mapa de características de varios niveles y son independientes entre sí. Es inapropiado y defectuoso utilizar la fusión de resultados. Además, el módulo de clasificación y el módulo de regresión son independientes entre sí, lo que conduce a un desalineamiento de características. En este documento, proponemos un enfoque de fusión de características que implica fusionar mapas de respuesta de similitud utilizando un mecanismo novedoso de atención a escala y posteriormente decodificar las características. Para reducir el desalineamiento de características y producir resultados de seguimiento más precisos, sugerimos utilizar la Pérdida de Regresión Supervisada por Clasificación (CSRL, por sus siglas en inglés) para entrenar el modelo. Los experimentos realizados en tres conjuntos de datos de referencia desafiantes muestran que este método supera a los modelos actuales en términos de rendimiento y eficiencia, funcionando a 40 fps.