Los rastreadores siamés existentes han logrado resultados cada vez más exitosos en el seguimiento visual de objetos. Sin embargo, la fusión interactiva entre mapas de similitud de múltiples capas después de la correlación cruzada no ha sido completamente estudiada en métodos anteriores basados en redes siamés. Para abordar este problema, proponemos una nueva red siamés para el seguimiento visual de objetos, llamada SiamSMN, que consiste en una red de extracción de características, un módulo de fusión a múltiples escalas y una cabeza de predicción. Primero, la red de extracción de características se utiliza para extraer las características de la imagen de plantilla y la imagen de búsqueda, que se calcula mediante una operación de correlación cruzada a nivel de profundidad para producir múltiples mapas de características de similitud. En segundo lugar, proponemos un módulo de fusión a múltiples escalas efectivo que puede extraer información de contexto global para la búsqueda de objetos y aprender las interdependencias entre los mapas de similitud de múltiples niveles. Además, para mejorar aún más la precisión del seguimiento, diseñamos un módulo de cabeza de predicción aprendible para generar un punto de límite para cada lado basado en la caja delimitadora gruesa, lo que puede resolver el problema de clasificación y regresión inconsistentes durante el seguimiento. Experimentos extensos en cuatro bancos de pruebas públicos demuestran que el rastreador propuesto tiene un rendimiento competitivo entre otros rastreadores de última generación.