Basado en el seguimiento por detección, proponemos un enfoque de seguimiento de múltiples objetos en línea y en tiempo real basado en coincidencias jerárquicas con características de apariencia profunda, que puede reducir efectivamente los falsos positivos (FP) en el seguimiento. Con el fin de aumentar la tasa de precisión de la asociación de datos, definimos la confianza de la trayectoria utilizando su información de posición, información de apariencia y la información de detecciones relevantes históricas, después de lo cual podemos clasificar las trayectorias en diferentes niveles. Para obtener características de apariencia discriminativas, desarrollamos una red neuronal convolucional profunda para extraer las características de apariencia de los objetos y la entrenamos en un conjunto de datos de reidentificación de peatones a gran escala. Por último, utilizamos la estrategia de coincidencia diversa y jerárquica propuesta para asociar conjuntos de detección y trayectoria. Los resultados experimentales en el conjunto de datos de referencia MOT muestran que nuestro enfoque propuesto se desempeña bien frente a otros métodos en línea, especialmente para las métricas de FP y cuadros por segundo (FPS).