La capacidad de los vehículos aéreos no tripulados (VANT) para capturar y utilizar información de objetos dinámicos asume una importancia crítica para la toma de decisiones y la comprensión de escenas. Este documento presenta un método para el posicionamiento relativo de VANT y el seguimiento de objetivos basado en un marco de localización y mapeo simultáneos visual (SLAM). Al integrar una red neuronal de detección de objetos en el marco SLAM, este método puede detectar objetos en movimiento y reconstruir efectivamente el mapa 3D del entorno a partir de secuencias de imágenes. Para tareas de seguimiento de múltiples objetos, combinamos la coincidencia de regiones de cajas de detección semántica y la coincidencia de puntos del método de flujo óptico para realizar la asociación de objetos dinámicos. Esta estrategia de asociación conjunta puede prevenir la pérdida de seguimiento debido a la pequeña proporción del objeto en toda la secuencia de imágenes. Para abordar el problema de la falta de información de escala en el sistema SLAM visual, recuperamos los datos de altitud basándonos en un enfoque de estimación de planos basado en RANSAC. El método propuesto se prueba tanto en el conjunto de datos de VANT creado por nosotros como en el conjunto de datos KITTI para evaluar su rendimiento. Los resultados demuestran la robustez y efectividad de la solución para facilitar los vuelos de VANT.