Para abordar los desafíos de las diferentes escalas de defectos en el concreto, el desequilibrio de clases y las limitaciones de hardware, proponemos EMAFG-RTDETR, un algoritmo de detección de defectos en el concreto basado en UAV construido sobre RTDETR. En la etapa de extracción de características, se diseñó un módulo ligero de extracción de características de atención multi-escala (bloque EMA-PRepFaster), donde PConv y RepConv se fusionan para mejorar el bloque FasterNet. Al mismo tiempo, se introduce un módulo de Atención Multi-escala Eficiente (EMA) para mejorar la extracción de características espaciales mientras se reduce la redundancia computacional. Para la fusión de características, se adopta el mecanismo de Reunir y Distribuir de GOLD-YOLO para mejorar la fusión de características multi-escala. La introducción de Powerful-IoU v2 no solo acelera el proceso de entrenamiento, sino que también mejora la capacidad del modelo para capturar defectos de diferentes tamaños. Para abordar el problema del desequilibrio de muestras, se propone una nueva función de pérdida de clasificación, EMASVLoss. Esta función ajusta los valores de pérdida de clasificación a través de un ponderado por partes e integra un mecanismo de promedio móvil exponencial para suavizar dinámicamente los pesos, mejorando la adaptabilidad del modelo. Finalmente, el algoritmo fue desplegado y validado en un UAV octocóptero desarrollado por nuestro equipo. Los resultados experimentales demuestran que EMAFG-RTDETR logra una mejora del 2.5% en la Precisión Media Promedio (mAP@0.5), alcanzando el 90% en el conjunto de datos de defectos en el concreto, con reducciones tanto en el tamaño de los parámetros como en el costo computacional. Además, el UAV equipado con el algoritmo propuesto puede detectar con precisión grietas y defectos de descascaramiento en superficies de concreto, validando la efectividad del modelo mejorado.