La clasificación de la gravedad de la enfermedad es la base principal para la toma de decisiones sobre la cantidad de uso de pesticidas en la prevención y control de enfermedades en vegetales. Basado en el aprendizaje profundo, este artículo propuso un marco integrado, que segmenta automáticamente la hoja objetivo y los puntos de enfermedad en imágenes de pepino utilizando diferentes redes de segmentación semántica y luego calcula el área de los puntos de enfermedad y la hoja objetivo para la clasificación de la gravedad de la enfermedad. Se construyeron dos conjuntos de datos independientes de hojas y lesiones, que sirvieron como conjunto de entrenamiento para la segmentación de hojas enfermas en la primera etapa y los modelos de segmentación de lesiones en la segunda etapa. El conjunto de datos de hojas contiene 1140 imágenes, y el conjunto de datos de lesiones contiene 405 imágenes. El TRNet propuesto estaba compuesto por una red convolucional y una red Transformer y logró una precisión del 93.94% al fusionar características locales y globales para la segmentación de hojas. En la segunda etapa, se utilizó U-Net (Resnet50 como red de características) para la segmentación de lesiones, y se obtuvo un coeficiente de Dice del 68.14%. Después de integrar TRNet y U-Net, se obtuvo un coeficiente de Dice del 68.83%. En general, la red de segmentación de dos etapas logró una precisión promedio del 94.49% y del 94.43% en la clasificación de la gravedad del mildiu velloso del pepino y la antracnosis del pepino, respectivamente. En comparación con DUNet y BLSNet, la precisión promedio de TUNet en la clasificación de la gravedad del mildiu velloso del pepino y la antracnosis del pepino aumentó en un 4.71% y un 8.08%, respectivamente. El modelo propuesto mostró una gran capacidad para segmentar las hojas de pepino y los puntos de enfermedad a nivel de píxeles, proporcionando un método factible para evaluar la gravedad del mildiu velloso y la antracnosis del pepino.