Predecir el rendimiento de los cultivos es clave para la toma de decisiones de los agricultores y propietarios de negocios. Tacna es la principal región productora de aceitunas en Perú, con un rendimiento anual de 6.4 t/ha, principalmente de la variedad Sevillana. Recientemente, los niveles de producción de aceitunas han fluctuado debido a condiciones climáticas severas y brotes de enfermedades. Se espera que estos fenómenos climáticos continúen en los próximos años. El objetivo del estudio fue evaluar el rendimiento del modelo en entornos naturales y específicos del olivar y contar frutos de aceituna utilizando CNN a partir de imágenes. Entre los modelos evaluados, YOLOv8m demostró ser el más efectivo (94.960), seguido por YOLOv8s, Faster R-CNN y RetinaNet. Para la métrica mAP50-95, YOLOv8m también fue el más efectivo (0.775). YOLOv8m logró el mejor rendimiento con un RMSE de 402.458 y un coeficiente de determinación R de (0.944), lo que indica una alta correlación con el recuento real de frutas. Como parte de este estudio, se desarrolló un nuevo conjunto de datos de frutas de olivo para capturar la variabilidad bajo diferentes condiciones de frutas. Se concluyó que predecir el cultivo a partir de imágenes requiere considerar las condiciones de imagen en el campo, los tonos de color y la similitud entre las aceitunas y las hojas.