El seguimiento de múltiples objetos tiene como objetivo estimar las trayectorias completas de los objetos en una escena. Distinguir eficientemente entre objetos en entornos complejos es un problema desafiante. En este artículo, se propone una red Siamesa con una restricción de auto-codificación para extraer características discriminativas de las respuestas de detección en un marco de seguimiento por detección. A diferencia de los métodos recientes de aprendizaje profundo, la estructura simple de auto-codificador apilado de dos capas permite que la red Siamesa funcione eficientemente solo con datos de muestra en línea a pequeña escala. La restricción de auto-codificación reduce la posibilidad de sobreajuste durante el entrenamiento con muestras a pequeña escala. Luego, se mejora la red Siamesa propuesta para extraer el vector de apariencia-anterior-siguiente de un tracklet para una mejor asociación. La nueva característica integra la apariencia, movimientos de etapas anteriores y siguientes de un elemento en un tracklet. Con las nuevas características, se establece un marco de seguimiento de aprendizaje incremental en línea. Contiene la generación confiable de tracklets, la asociación de datos para generar trayectorias completas de objetos y el crecimiento de tracklets para manejar detecciones faltantes y mejorar la nueva característica para el tracklet. Beneficiándose de las características discriminativas, las trayectorias finales de los objetos pueden lograrse mediante un algoritmo codicioso iterativo eficiente. Los experimentos de características muestran que la red Siamesa propuesta tiene ventajas en términos de discriminación y corrección. Los experimentos del sistema muestran el rendimiento de seguimiento mejorado del método propuesto.