El seguimiento de objetos es una tarea desafiante en muchas aplicaciones de visión por computadora debido a la oclusión, la variación de escala y el desorden de fondo, entre otros. En este artículo, proponemos un algoritmo de seguimiento combinando modelos globales discriminativos y modelos locales generativos de múltiples escalas. En el modelo global, enseñamos a un clasificador con características discriminativas escasas a separar el objeto objetivo del fondo basado en plantillas holísticas. En el modelo local de múltiples escalas, el objeto se representa mediante histogramas de representación local escasa de múltiples escalas, que explotan la información parcial y espacial complementaria de un objeto a través de diferentes escalas. Finalmente, una puntuación de similitud colaborativa de un candidato objetivo se introduce en un marco de inferencia bayesiana para estimar el estado del objetivo secuencialmente durante el seguimiento. Los resultados experimentales en varias secuencias de video desafiantes muestran que el método propuesto tiene un rendimiento favorable en comparación con varios rastreadores de última generación.