Con el rápido desarrollo del tráfico aéreo urbano, los Vehículos Aéreos No Tripulados (VANT) se están utilizando gradualmente de manera amplia en las ciudades. Dado que los VANT están prohibidos sobre lugares importantes en la Movilidad Aérea Urbana (UAM), como gobiernos y aeropuertos, es importante desarrollar vigilancia no cooperativa de VANT para la seguridad aérea durante todo el día y la noche. En el artículo, nuestro equipo propone un algoritmo de detección de VANT en todo momento basado en imágenes visibles durante el día e imágenes infrarrojas por la noche. Construimos un conjunto de datos de VANT utilizado en fondos visibles urbanos (VANT-visible) y un conjunto de datos de VANT utilizado en fondos infrarrojos urbanos (VANT-infrarrojo). Durante el día, las imágenes visibles son menos precisas para la detección de VANT en entornos con niebla; por lo tanto, incorporamos un algoritmo de desneblado con la red de detección que puede asegurar la salida no distorsionada de imágenes para la detección de VANT basada en la realización del desneblado. Por la noche, las imágenes infrarrojas tienen características de baja resolución, contornos de objetos poco claros y un fondo de imagen complejo. Integramos la atención y la transformación de mapas de características espaciales en mapas de características profundas para detectar pequeños VANT en imágenes. El algoritmo de detección en todo momento se entrena por separado en estos dos conjuntos de datos, lo que puede lograr un 96.3% y un 94.7% de mAP50 en los conjuntos de datos VANT-visible y VANT-infrarrojo, respectivamente, y realizar detección de objetos en tiempo real con una velocidad de inferencia de 40.16 FPS y 28.57 FPS, respectivamente.