La detección de atletas en videos deportivos es una tarea desafiante debido al fondo dinámico y desordenado. El SiamRPN consciente de distracciones (DaSiamRPN) tiene una estructura de red simple y puede utilizarse para realizar un seguimiento a largo plazo de grandes conjuntos de datos. Sin embargo, al igual que la red Siamesa, los resultados de seguimiento dependen en gran medida de la posición dada en el fotograma inicial. Por lo tanto, existe una falta de soluciones para algunos escenarios de seguimiento complejos, como correr y cambiar de cuerpo de atletas, especialmente en la etapa de cuclillas a estar de pie a correr. El clasificador en cascada basado en características Haar se utiliza para capturar el fotograma clave, que representa el fotograma de video con los cambios más dramáticos de los atletas. DaSiamRPN se implementa como método de seguimiento. En cada fotograma después del fotograma clave, se proporciona una ventana de detección basada en el cuadro delimitador generado por el rastreador DaSiamRPN. En la nueva ventana de detección, se propone un método de fusión (HOG-SVM) que combina características de Histogramas de Gradientes Orientados (HOG) y una Máquina de Soporte Vectorial (SVM) lineal para detectar al atleta, y los resultados de seguimiento se actualizan en tiempo real fusionando los resultados de seguimiento de DaSiamRPN y HOG-SVM. Nuestro método propuesto ha logrado un efecto de seguimiento estable y preciso en pruebas en secuencias de video de los 100 m masculinos y ha realizado una operación en tiempo real.