La detección precisa de frutas y verduras es una tarea clave en la automatización agrícola. Sin embargo, los métodos de detección existentes suelen centrarse en identificar un solo tipo de fruta o verdura y no están equipados para manejar entornos complejos y diversos. Para abordar esto, presentamos el primer conjunto de datos de referencia a gran escala para la detección de frutas y verduras, FV40. Este conjunto de datos contiene 14,511 imágenes, que cubren 40 categorías diferentes de frutas y verduras, con más de 100,000 cuadros delimitadores anotados. Además, proponemos un nuevo marco para la detección de frutas y verduras, FVRT-DETR. Basado en la arquitectura Transformer, este marco presenta un algoritmo de detección en tiempo real de extremo a extremo. FVRT-DETR mejora la extracción de características mediante la integración de la red Mamba y mejora el rendimiento de detección para objetos de diferentes escalas a través del diseño de un módulo codificador de fusión de características profundas a múltiples escalas (MDFF encoder). Experimentos extensos muestran que FVRT-DETR tiene un excelente rendimiento en el conjunto de datos FV40. En particular, demuestra una ventaja significativa en la detección de objetos pequeños y en escenarios complejos. En comparación con los algoritmos de detección de vanguardia existentes, como YOLOv10, FVRT-DETR logra mejores resultados en múltiples métricas clave. El marco FVRT-DETR y el conjunto de datos FV40 proporcionan una solución eficiente y escalable para la detección de frutas y verduras, ofreciendo un valor académico significativo y un potencial de aplicación práctica.