La calificación de calidad en la producción industrial de setas de cuerno de ciervo es una operación intensiva en mano de obra. Durante mucho tiempo, se ha utilizado la calificación manual, lo que produce varios problemas como una fiabilidad insuficiente, baja eficiencia de producción y alto daño al cuerpo de la seta. La calificación automática es un problema que debe resolverse urgentemente para el desarrollo industrial de setas de cuerno de ciervo con el aumento de los costos laborales. Para resolver el problema, este documento integra profundamente la detección de objetos de una sola etapa de YOLOv5 y la segmentación semántica de PSPNet, y propone un modelo Y-PNet para la detección de objetos en tiempo real y una red de segmentación de imágenes. Este artículo también propone un modelo de evaluación para el tamaño de las setas de cuerno de ciervo, que elimina el juicio subjetivo y logra la calificación de calidad. Además, para satisfacer las necesidades de detección jerárquica eficiente y precisa en la fábrica, este estudio utiliza un modelo de red ligera para construir un modelo de detección de objetos de una sola etapa YOLOv5 ligero. El modelo de red MobileNetV3 incrustado con un módulo CBAM se utiliza como extractor base en PSPNet para reducir el tamaño del modelo y mejorar la eficiencia y precisión del modelo para la segmentación. Los experimentos muestran que el sistema propuesto puede realizar con éxito la calificación en tiempo real, lo que puede proporcionar referencias instructivas y prácticas en la industria.