La detección de frutas de mandarina proporciona un apoyo técnico crucial para la predicción de rendimientos y la identificación y cosecha precisas de las frutas de mandarina. Sin embargo, desafíos como la oclusión por hojas o ramas, la presencia de frutas pequeñas o parcialmente visibles, y las limitaciones en la eficiencia del modelo representan obstáculos significativos en un entorno de huerto complejo. Para abordar estos problemas, proponemos ELD-YOLO, un marco de detección ligero diseñado para mejorar la preservación de detalles en los bordes y mejorar la detección de frutas pequeñas y ocluidas. Nuestro método incorpora un procesamiento consciente de los bordes para fortalecer la representación de características, introduce una cabeza de detección simplificada que equilibra la precisión con el costo computacional, y emplea una estrategia de sobremuestreo adaptativa para minimizar la pérdida de información durante la escalación de características. Los experimentos en un conjunto de datos de frutas de mandarina muestran que ELD-YOLO logra una precisión del 89.7%, un recall del 83.7%, un mAP@50 del 92.1%, y un mAP@50:95 del 68.6% mientras reduce el conteo de parámetros en un 15.4% en comparación con la línea base. Estos resultados demuestran que ELD-YOLO proporciona una solución efectiva y eficiente para la detección de frutas en escenarios complejos de huertos.