Con el rápido crecimiento del mercado global de drones, una variedad de drones pequeños ha representado una cierta amenaza para la seguridad pública. Por lo tanto, necesitamos detectar drones pequeños de manera oportuna para poder tomar contramedidas efectivas. En la actualidad, el método basado en aprendizaje profundo ha logrado un gran avance en el campo de la detección de objetivos, pero no es bueno para detectar drones pequeños. Para resolver los problemas mencionados, propusimos el modelo IRSDD-YOLOv5, que se basa en el actual detector avanzado YOLOv5. En primer lugar, en la etapa de extracción de características, diseñamos un módulo de detección de pequeños objetivos infrarrojos (IRSTDM) adecuado para el reconocimiento infrarrojo de drones pequeños, que extrajo y retuvo los detalles del objetivo para permitir que IRSDD-YOLOv5 detectara efectivamente pequeños objetivos. En segundo lugar, en la etapa de predicción de objetivos, utilizamos la cabeza de predicción de pequeños objetivos (PH) para completar la predicción de la información previa generada a través del módulo de detección de pequeños objetivos infrarrojos (IRSTDM). Optimizamos la función de pérdida calculando la distancia entre la caja verdadera y la caja predicha para mejorar el rendimiento de detección del algoritmo. Además, construimos un conjunto de datos de detección de drones infrarrojos de un solo fotograma (SIDD), anotado a nivel de píxel, y publicamos un conjunto de datos SIDD de forma pública. De acuerdo con algunas escenas reales de invasión de drones, dividimos el conjunto de datos en cuatro escenas: la ciudad, el cielo, la montaña y el mar. Utilizamos algoritmos de segmentación de instancias de uso común (Blendmask, BoxInst, etc.) para entrenar y evaluar el rendimiento de las cuatro partes del conjunto de datos, respectivamente. Los resultados experimentales muestran que el algoritmo propuesto demuestra un buen rendimiento. Las medidas AP50 de IRSDD-YOLOv5 en la escena de montaña y en la escena oceánica alcanzaron valores máximos de 79.8% y 93.4%, respectivamente, lo que representa aumentos del 3.8% y 4% en comparación con YOLOv5. También realizamos un análisis teórico de la precisión de detección en diferentes escenarios del conjunto de datos.