Afrontando los problemas de la gran cantidad de parámetros del modelo y las detecciones falsas y faltantes de objetivos de drones a múltiples escalas, presentamos un nuevo método de detección de drones, YOLOv4-MCA, basado en el ligero MobileViT y Atención Coordinada. El enfoque propuesto se mejora de acuerdo con el marco de YOLOv4. En primer lugar, utilizamos un MobileViT ligero mejorado como red de extracción de características, que puede extraer completamente las representaciones de características locales y globales del objeto y reducir la complejidad del modelo. En segundo lugar, adoptamos la Atención Coordinada para mejorar PANet y obtener una atención a múltiples escalas llamada CA-PANet, que puede obtener más información posicional y promover la fusión de información con características de baja y alta dimensionalidad. En tercer lugar, utilizamos el método mejorado de K-means++ para optimizar la caja de anclaje del objeto y mejorar la eficiencia de detección. Por último, construimos un conjunto de datos de drones y realizamos un experimento de rendimiento basado en el método de aumento de datos Mosaico. Los resultados experimentales muestran que el mAP del enfoque propuesto alcanza el 92.81%, los FPS alcanzan 40 f/s, y el número de parámetros es solo de 13.47 M, lo cual es mejor que los algoritmos convencionales y logra una alta precisión de detección para objetivos de drones a múltiples escalas utilizando un bajo número de parámetros.