El seguimiento de objetos visuales es una tarea crítica en la visión por computadora. Siempre existen desafíos cuando un objeto necesita ser rastreado. Por ejemplo, el desorden de fondo es uno de los problemas más desafiantes. El rastreador de media desplazada es bastante popular debido a su eficiencia y rendimiento en una variedad de condiciones. Sin embargo, el desafío del desorden de fondo también afecta su rendimiento. En este artículo, proponemos un nuevo histograma ponderado basado en la puntuación de similitud neutrosófica para ayudar al rastreador de media desplazada a discriminar el objetivo del fondo. El conjunto neutrosófico (NS) es una nueva rama de la filosofía para tratar con información incompleta, indeterminada e inconsistente. En este trabajo, utilizamos el conjunto neutrosófico de valor único (SVNS), que es una subclase de NS para mejorar el rastreador de media desplazada. Primero, se consideran dos tipos de criterios como la similitud de características del objeto y la similitud de características del fondo, y cada bin del histograma de pesos se representa en el dominio SVNS a través de tres funciones de membresía T(Verdad), I(indeterminación) y F(Falsedad). En segundo lugar, se introduce la función de puntuación de similitud neutrosófica para fusionar esos dos criterios y construir el histograma de pesos final. Finalmente, se propone un nuevo rastreador de media desplazada ponderado neutrosófico. El rastreador propuesto se compara con varios rastreadores basados en media desplazada en un conjunto de datos de 61 secuencias públicas. Los resultados revelaron que nuestro método supera a otros rastreadores, especialmente al enfrentarse al desorden de fondo.