La estimación precisa del rendimiento de tomates y el monitoreo de su madurez son críticos para optimizar la gestión de invernaderos. Mientras que el conteo manual sigue siendo laborioso y propenso a errores, este estudio presenta un novedoso marco basado en visión para el conteo automatizado de tomates en entornos de invernadero estandarizados. El método propuesto integra detección basada en YOLOv8, filtrado de profundidad y un algoritmo de predicción entre cuadros para abordar desafíos clave como interferencia de fondo, oclusión y doble conteo. Nuestro enfoque logra una precisión del 97.09% en la detección de racimos de tomates, con precisión de reconocimiento de frutas maduras e inmaduras del 92.03% y 91.79%, respectivamente. El algoritmo de seguimiento de múltiples objetivos demuestra un MOTA (Precisión de Seguimiento de Múltiples Objetos) de 0.954, superando a métodos convencionales como YOLOv8 + DeepSORT. Al fusionar datos de odometría de un robot de inspección, esta solución liviana permite la estimación en tiempo real del rendimiento y la clasificación de madurez, ofreciendo un valor práctico para la agricultura de precisión.