La segmentación y clasificación de objetos utilizando la red neuronal convolucional profunda (DCNN) ha sido ampliamente investigada en los últimos años. Por un lado, la DCNN requiere grandes conjuntos de datos de entrenamiento y etiquetado preciso, lo que conlleva grandes dificultades en la aplicación práctica. Por otro lado, consume una gran cantidad de recursos informáticos, por lo que es difícil aplicarlo a equipos terminales de bajo costo. Este documento propone un método de segmentación de órganos de cultivos y reconocimiento de enfermedades que se basa en la DCNN supervisada débilmente y en un modelo ligero. Al considerar la situación real en el invernadero, adoptamos una estrategia de dos pasos para reducir la interferencia del fondo complejo. En primer lugar, utilizamos la arquitectura de segmentación de instancias genéricas-Mask R-CNN para realizar la segmentación de instancias de órganos de tomate basada en el aprendizaje supervisado débil, y luego el reconocimiento de enfermedades en hojas de tomate se realiza mediante convolución multi-escala separable en profundidad. Los algoritmos de segmentación de instancias generalmente requieren etiquetas supervisadas precisas a nivel de píxeles, que son difíciles de recopilar, por lo que proponemos una asignación de segmentación de instancias supervisada débil para resolver este problema. El modelo ligero utiliza convolución multi-escala para expandir el ancho de la red, lo que hace que las características extraídas sean más ricas, y se adopta la convolución separable en profundidad para reducir los parámetros del modelo. Los resultados experimentales mostraron que nuestro método alcanzó una mayor precisión de reconocimiento en comparación con otros métodos, al mismo tiempo que ocupaba menos espacio de memoria, lo que puede realizar el reconocimiento en tiempo real de enfermedades de tomate en terminales de bajo rendimiento, y puede aplicarse al reconocimiento de enfermedades de cultivos en otros escenarios de aplicación similares.