Las operaciones de cosecha en la agricultura son tareas intensivas en mano de obra. Las soluciones automatizadas pueden ayudar a aliviar parte de la presión causada por el aumento de los costos y la escasez de mano de obra. Sin embargo, estas soluciones suelen ser difíciles y costosas de desarrollar. Para permitir el uso de robots de cosecha, la visión artificial debe ser capaz de detectar y localizar objetos objetivo en una escena desordenada. En este trabajo, nos enfocamos en un subconjunto de operaciones de cosecha, específicamente la cosecha de tomates en invernaderos, e investigamos el impacto que las variaciones en el tamaño del conjunto de datos, el proceso de recolección de datos y otras condiciones ambientales pueden tener en la capacidad de generalización de un modelo Mask-RCNN para detectar dos objetos críticos para la tarea de cosecha: tomates y tallos. Nuestros resultados muestran que al detectar tallos desde una perspectiva perpendicular, los modelos entrenados utilizando datos de la misma perspectiva son similares a los que combinan datos tanto perpendiculares como inclinados. También mostramos cambios más grandes en el rendimiento de detección a través de diferentes tamaños de conjunto de datos al evaluar imágenes recolectadas desde una perspectiva de cámara inclinada, y en general diferencias más grandes en el rendimiento cuando la iluminación es la principal fuente de variación en los datos. Estos hallazgos pueden ser utilizados para ayudar a los profesionales a priorizar los esfuerzos de recolección y evaluación de datos, y llevar a esfuerzos de construcción de conjuntos de datos de cosecha a mayor escala.