La aplicación generalizada de la tecnología de drones ha suscitado preocupaciones de seguridad, ya que los drones no autorizados pueden llevar a intrusiones ilegales y violaciones de la privacidad. Los métodos de detección tradicionales a menudo no logran equilibrar el rendimiento y el diseño ligero, lo que los hace inadecuados para escenarios con recursos limitados. Para abordar esto, proponemos el algoritmo IASL-YOLO, que optimiza el modelo YOLOv8s para mejorar la precisión de detección y la eficiencia ligera. Primero, diseñamos la red CFE-AFPN para simplificar la arquitectura mientras mejoramos las capacidades de fusión de características a través de capas no adyacentes. En segundo lugar, introducimos la función de pérdida SIoU para abordar el problema de desajuste de orientación entre las cajas delimitadoras predichas y las reales. Finalmente, empleamos el algoritmo de poda LAMP para comprimir el modelo. Los resultados experimentales en el conjunto de datos Anti-UAV muestran que el modelo mejorado logra un aumento del 2.9% en precisión, un aumento del 6.8% en recuperación, y mejoras del 3.9% y 3.8% en mAP50 y mAP50-95, respectivamente. Además, el tamaño del modelo se reduce en un 75%, el conteo de parámetros en un 78%, y la carga de trabajo computacional en un 30%. En comparación con los algoritmos convencionales, IASL-YOLO demuestra ventajas significativas tanto en rendimiento como en diseño ligero, ofreciendo una solución eficiente para tareas de detección de drones.