El trabajo presentado es parte del proyecto H2020 SWEEPER, cuyo objetivo general es desarrollar un robot para la cosecha de pimientos dulces para su uso en invernaderos. Como parte de la solución, se utiliza el servoing visual para dirigir el manipulador hacia la fruta. Esto requiere una detección de frutas precisa y estable basada en imágenes de video. Para segmentar una imagen en fondo y primer plano, se utilizan comúnmente técnicas de umbralización. Las condiciones de iluminación variables en el entorno desestructurado del invernadero a menudo causan sombras y sobreexposición. Además, el color de las frutas a cosechar varía a lo largo de la temporada. Todo esto hace que no sea óptimo utilizar umbrales preseleccionados fijos. En este artículo, sugerimos un método de umbralización adaptativa dependiente de la imagen. Se utiliza una variante del aprendizaje por refuerzo (RL) con una función de recompensa que calcula la similitud entre la imagen segmentada y la imagen etiquetada para dar retroalimentación para la selección de acciones. El enfoque basado en RL requiere menos recursos computacionales que la búsqueda exhaustiva, que se utiliza como referencia, y resulta en un rendimiento superior en comparación con un enfoque de optimización basado en Lipschitz. El método propuesto también requiere menos imágenes etiquetadas en comparación con otros métodos. Se comparan varias estrategias de exploración-explotación, y los resultados indican que el algoritmo Decaying Epsilon-Greedy ofrece el mejor rendimiento para esta tarea. El rendimiento más alto con el algoritmo Epsilon-Greedy ( = 0.7) alcanzó el 87% del rendimiento logrado por la búsqueda exhaustiva, con un 50% menos de iteraciones que la referencia. El rendimiento aumentó al 91.5% utilizando el algoritmo Decaying Epsilon-Greedy, con un 73% menos de iteraciones que la referencia.