Detectar lichis en un entorno natural complejo es importante para la estimación del rendimiento y proporciona un soporte confiable a los robots recolectores de lichis. Este documento propone un modelo de detección de lichis mejorado llamado YOLOv5-litchi para la detección de lichis en entornos naturales complejos. Primero, agregamos un módulo de atención de bloque convolucional a cada módulo C3 en la estructura de red para mejorar la capacidad de la red de extraer información de características importantes. En segundo lugar, agregamos una capa de detección de objetos pequeños para permitir que el modelo localice objetivos más pequeños y mejorar el rendimiento de detección de objetivos pequeños. En tercer lugar, la ampliación de datos Mosaic-9 en la red aumenta la diversidad de conjuntos de datos. Luego, aceleramos el proceso de convergencia de regresión de la caja de predicción reemplazando la función de pérdida de regresión de detección de objetivos por CIoU. Finalmente, agregamos fusión de cajas ponderadas para acercar las cajas de predicción al objetivo y reducir la detección perdida. Se realiza un experimento para verificar la efectividad de la mejora. Los resultados del estudio muestran que el mAP y la recuperación del modelo YOLOv5-litchi mejoraron en un 12,9% y un 15%, respectivamente, en comparación con los de la red YOLOv5 no mejorada. La velocidad de inferencia del modelo YOLOv5-litchi para detectar cada imagen es de 25 ms, lo cual es mucho mejor que el de Faster-RCNN y YOLOv4. En comparación con la red YOLOv5 no mejorada, el mAP del modelo YOLOv5-litchi aumentó en un 17,4% en las escenas visuales grandes. El rendimiento del modelo YOLOv5-litchi para la detección de lichis es el mejor entre cinco modelos. Por lo tanto, YOLOv5-litchi logró un buen equilibrio entre velocidad, tamaño del modelo y precisión, lo que puede satisfacer las necesidades de detección de lichis en la agricultura y proporcionar soporte técnico para la estimación del rendimiento y los robots recolectores de lichis.