Los modelos de apariencia juegan un papel importante en el seguimiento visual. La modelización efectiva de la apariencia de los objetos rastreados sigue siendo un problema desafiante debido a los cambios en la apariencia del objeto causados por factores como la oclusión parcial, la variación de iluminación y la deformación, etc. En este documento, proponemos un método de seguimiento basado en el descriptor de parches y la representación dispersa local estructural. En nuestro método, primero se divide el objeto en múltiples parches no superpuestos, y los coeficientes dispersos de los parches se obtienen mediante representación dispersa local estructural. En segundo lugar, cada parche se descompone aún más en varios subparches. Los descriptores de parches se definen como la proporción de subparches, cuyo error de reconstrucción es menor que el umbral dado. Finalmente, la apariencia de un objeto se modela mediante los descriptores de parches y los coeficientes dispersos de los parches. Además, para adaptarse a los cambios de apariencia de un objeto y mitigar la deriva del modelo, se introduce un esquema de actualización de plantilla consciente de los valores atípicos. Los resultados experimentales en un amplio conjunto de datos de referencia demuestran la efectividad del método propuesto.