El uso desmedido de drones representa una amenaza seria para la seguridad nacional y la vida humana. Actualmente, las CNN (Redes Neuronales Convolucionales) se utilizan ampliamente para detectar drones. Sin embargo, los pequeños objetivos de drones a menudo presentan amplitudes reducidas o incluso pierden características en imágenes infrarrojas, lo que las CNN tradicionales no pueden superar. Este artículo propone una Red de Fusión de Características Progresiva (PFFNET) y diseña una Fusión de Pirámide de Agrupamiento (PFM) para proporcionar priors contextuales globales más efectivos para la salida de mayor submuestreo. Luego, se diseña un Modelo de Selección de Características (FSM) para mejorar el uso del gráfico de codificación de salida y mejorar la representación de características del objetivo en la red. Finalmente, se diseña una cabeza de segmentación ligera para lograr una fusión progresiva de características con salidas de múltiples capas. Los resultados experimentales muestran que el algoritmo propuesto tiene un buen rendimiento en tiempo real y alta precisión en la detección de objetivos de drones. En el conjunto de datos público, la intersección sobre la unión (IOU) se mejora en un 2.5% y el tiempo de detección se reduce en un 81%.