Como resultado de la creciente urbanización, el monitoreo del tráfico en las ciudades se ha convertido en una tarea desafiante. El uso de Vehículos Aéreos No Tripulados (VANT) ofrece una solución atractiva a este problema. El Seguimiento de Múltiples Objetos (MOT) para VANT es una tecnología clave para cumplir con esta tarea. Los métodos tradicionales de seguimiento basado en detección (DBT) comienzan empleando un detector de objetos para recuperar objetivos en cada imagen y luego los rastrean basándose en un algoritmo de coincidencia. Recientemente, los populares métodos de aprendizaje multitarea han dominado esta área, ya que pueden detectar objetivos y extraer características de Re-Identificación (Re-ID) de manera computacionalmente eficiente. Sin embargo, la tarea de detección y la tarea de seguimiento tienen requisitos conflictivos sobre las características de la imagen, lo que lleva a un rendimiento deficiente del modelo de aprendizaje conjunto en comparación con los métodos de detección y seguimiento separados. El problema es más grave cuando se trata de imágenes de VANT debido a la presencia de movimiento irregular de un gran número de pequeños objetivos. En este artículo, proponemos utilizar una red de aprendizaje conjunto de Detección y Re-ID equilibrada (JDR) para abordar el problema de MOT en la visión de VANT. Para manejar mejor el movimiento no uniforme de los objetos en los videos de VANT, se aplica el Filtro de Pertenencia a Conjuntos, que describe el estado del objeto como un conjunto acotado. Luego se propone una cascada de coincidencia de apariencia basada en el conjunto de estados del objetivo. Además, se diseña un módulo de Mutación de Movimiento para abordar los desafíos planteados por el movimiento abrupto del VANT. Experimentos extensivos en el conjunto de datos VisDrone2019-MOT certifican que nuestro modelo propuesto, denominado SMFMOT, supera a los modelos de última generación por un amplio margen y logra un rendimiento superior en las tareas de MOT en videos de VANT.