Los rastreadores de objetos existentes se basan principalmente en filtros de correlación y marcos de redes neuronales. El filtrado de correlación es rápido pero tiene poca precisión. Aunque una red neuronal puede lograr una alta precisión, una gran cantidad de cálculos aumenta el tiempo de seguimiento. Para abordar este problema, utilizamos una red neuronal convolucional (CNN) para aprender la dirección del objeto. Proponemos una red de clasificación de dirección de objetivo basada en CNN que tiene un atajo direccional al objetivo de seguimiento, a diferencia del filtro de partículas que encuentra aleatoriamente el objetivo. Nuestra red utiliza un enfoque de extremo a extremo para determinar la variación de escala que tiene una buena robustez a secuencias de variación de escala. En la etapa de preentrenamiento, se utiliza el conjunto de datos de Desafíos de Seguimiento Visual de Objetos (VOT) para entrenar la red en la clasificación de muestras positivas y negativas y en la clasificación de dirección. En la etapa de seguimiento en línea, se realiza la operación de ventana deslizante utilizando la información direccional obtenida para determinar la posición exacta del objeto. La red solo calcula una muestra, lo que garantiza una baja carga computacional. Las estrategias de redisposición de muestras positivas y negativas pueden garantizar con éxito que las muestras no se pierdan. Los resultados de evaluación de una sola pasada (OPE) del conjunto de datos de referencia de seguimiento de objetos (OTB) demuestran que el algoritmo es muy robusto y también es más rápido que varios rastreadores profundos.