La detección y el seguimiento de peatones son funciones críticas en la aplicación de la visión por computadora para la conducción autónoma en términos de evitación de accidentes y seguridad. Ampliar la aplicación a drones expande el espacio de monitoreo de 2D a 3D, pero complica la tarea. Las imágenes capturadas desde varios ángulos representan un gran desafío para la detección de peatones, ya que las características de la imagen varían enormemente desde diferentes ángulos y el rendimiento de detección de las redes neuronales profundas se deteriora. En este artículo, este problema de múltiples ángulos se trata como un problema de múltiples dominios, y se propone un nuevo método de aprendizaje conjunto multidominio (MDJL) para entrenar una red neuronal profunda utilizando datos de drones de múltiples dominios. El dropout guiado por dominio, un mecanismo crítico en MDJL, se desarrolla para autoorganizar características específicas de dominio de acuerdo con las puntuaciones de impacto de las neuronas. Después de entrenar y ajustar la red, la precisión del modelo obtenido mejoró en todos los dominios. Además, también combinamos el MDJL con rastreadores de procesos de decisión de Markov para crear un sistema de seguimiento de múltiples objetos para drones voladores. Se realizaron experimentos en muchos puntos de referencia, y el método propuesto se comparó con varios métodos de última generación. Los resultados experimentales muestran que el MDJL aborda eficazmente muchos escenarios y mejora significativamente el rendimiento del seguimiento.