Las características profundas extraídas de redes neuronales convolucionales han sido utilizadas recientemente en el seguimiento visual para obtener una representación genérica y semántica de los candidatos a objetivo. En este documento, proponemos un rastreador estructurado robusto que utiliza características profundas locales (STLDF). Este rastreador explota las características profundas de parches locales dentro de los candidatos a objetivo y los representa de manera dispersa mediante un conjunto de plantillas en el marco del filtro de partículas. El STLDF propuesto utiliza un nuevo modelo de optimización, que emplea un término de regularización de grupo-esparso para adoptar la información local y espacial de los candidatos a objetivo y lograr la estructura de disposición espacial entre ellos. Para resolver el modelo de optimización, proponemos un algoritmo numérico eficiente y rápido que consta de dos subproblemas con soluciones en forma cerrada. Diferentes evaluaciones en términos de éxito y precisión en los benchmarks de secuencias de imágenes desafiantes (por ejemplo, OTB50 y OTB100) demuestran el rendimiento superior del STLDF frente a varios rastreadores de última generación.