El aprendizaje profundo con redes neuronales convolucionales representa el enfoque más utilizado en los últimos años en la clasificación de enfermedades de hojas. La literatura ha abordado extensamente el problema utilizando conjuntos de datos adquiridos en laboratorio con un fondo homogéneo. En este artículo, exploramos los factores de variabilidad que influyen en la clasificación de enfermedades de plantas mediante el análisis de la misma planta y enfermedad en diferentes condiciones, es decir, en el campo y en el laboratorio. Se analizan dos especies de plantas y cinco tensiones bióticas utilizando diferentes arquitecturas, como EfficientB0, MobileNetV2, InceptionV2, ResNet50 y VGG16. Los experimentos muestran que el rendimiento del modelo disminuye drásticamente al utilizar conjuntos de datos representativos, y las características aprendidas de la red para determinar la clase no siempre pertenecen a la lesión de la hoja. En el peor de los casos, la precisión disminuye del 92.67% al 54.41%. Nuestros resultados indican que si bien el aprendizaje profundo es una técnica efectiva, hay algunos problemas técnicos a considerar al aplicarlo a conjuntos de datos más representativos recopilados en el campo.