En los últimos años, los sistemas aéreos no tripulados (UAS) se han utilizado ampliamente para muchas aplicaciones, incluyendo el monitoreo del tráfico urbano. Sin embargo, en la detección, seguimiento y geolocalización de vehículos en movimiento utilizando UAV, se presentan problemas como sensores de baja precisión, escenas complejas, tamaños de objetos pequeños y ruidos inducidos por el movimiento. Para abordar estos problemas, este estudio presenta un marco inteligente, auto-optimizado y en tiempo real para la detección, seguimiento y geolocalización automatizada de vehículos en imágenes adquiridas por UAV, que incluye características de detección, localización y seguimiento para mejorar la decisión final. El ruido se reduce inicialmente aplicando el filtrado adaptativo propuesto, lo que hace que el algoritmo de detección sea más versátil. Posteriormente, en el paso de detección, se utilizan transformaciones de sombrero superior e inferior, asistidas por la Operación Morfológica Basada en Segmentación Superpuesta (OSBMO). Tras la fase de detección, las regiones de fondo se eliminan a través de un análisis de los puntos de características de movimiento de las regiones de objetos obtenidas utilizando un método que es una conjugación entre los rastreadores Kanade-Lucas-Tomasi (KLT) y el agrupamiento de Clustering Espacial Basado en Densidad de Aplicaciones con Ruido (DBSCAN). Las características de los objetos obtenidos se agrupan en objetos separados en función de sus características de movimiento. Finalmente, las etiquetas de los vehículos se asignan a sus trayectorias de clúster correspondientes mediante un algoritmo de conexión de refuerzo eficiente. Se evalúan las posibilidades de toma de decisiones del algoritmo de conexión de refuerzo. La Red Neuronal Convolucional Regional Rápida (Fast-RCNN) se diseña y entrena en una pequeña colección de muestras, y luego se utiliza para eliminar los objetivos incorrectos. El marco propuesto se probó en videos adquiridos a través de varios escenarios. La metodología ilustra su capacidad a través de la supervisión automática de vehículos objetivo en pruebas del mundo real, lo que demuestra sus aplicaciones potenciales en sistemas de transporte inteligente y otras aplicaciones de vigilancia.