La detección de objetivos de UAV pequeños juega un papel importante en el mantenimiento de la seguridad de las ciudades y los ciudadanos. Los objetivos de UAV tienen las características de vuelos a baja altitud, velocidades lentas y miniaturización. Teniendo en cuenta estas características, presentamos un algoritmo de detección de objetivos de UAV en tiempo real llamado Fast-YOLOv4 basado en computación en el borde. Al adoptar Fast-YOLOv4 en la plataforma de computación en el borde NVIDIA Jetson Nano, se puede realizar un análisis inteligente del video para lograr la detección rápida de objetivos de UAV. Sin embargo, la iteración actual del algoritmo de detección embebido en el borde tiene baja precisión y un rendimiento en tiempo real deficiente. Para resolver estos problemas, este documento introduce las redes ligeras MobileNetV3, Multiscale-PANet y soft-merge para mejorar YOLOv4, obteniendo así el modelo Fast-YOLOv4. La columna vertebral del modelo utiliza convolución separable en profundidad y una estructura de residuo inverso para simplificar la estructura de la red y mejorar su velocidad de detección. El cuello del modelo añade una rama de fusión de escala para mejorar la capacidad de extracción de características y fortalecer la detección de objetivos de pequeña escala. Luego, el algoritmo de filtrado de cajas predichas utiliza la función soft-merge para reemplazar el NMS (supresión de no máximos) tradicionalmente utilizado. Soft-merge puede mejorar la precisión de detección del modelo al fusionar la información de las cajas predichas. Finalmente, los resultados experimentales muestran que el mAP (precisión media promedio) y el FPS (fotogramas por segundo) de Fast-YOLOv4 alcanzan el 90.62% y 54 f/s, respectivamente, en la estación de trabajo. En la plataforma NVIDIA Jetson Nano, el FPS de Fast-YOLOv4 es 2.5 veces el de YOLOv4. Este rendimiento mejorado del modelo cumple con los requisitos para la detección en tiempo real y, por lo tanto, tiene un significado teórico y un valor de aplicación.