Los caramelos duros defectuosos suelen producirse debido a una alimentación inadecuada o un enfriamiento insuficiente durante el proceso de producción de caramelos. La estrategia de inspección basada en humanos debe actualizarse con los rápidos avances en la industria de confitería. En este documento, se propone un método de detección y clasificación de caramelos duros defectuosos basado en redes neuronales convolucionales (CNN). Primero, se utiliza el método threshold_li para distinguir entre caramelo duro y fondo. En segundo lugar, se utiliza un algoritmo de segmentación basado en la detección de puntos cóncavos y ajuste de elipses para dividir los caramelos duros adhesivos. Finalmente, se construye un modelo de clasificación basado en CNN para caramelos duros defectuosos. Según los tipos de caramelos duros defectuosos, se recopilaron 2552 muestras de caramelos duros; el 70% se utilizó para el entrenamiento del modelo, el 15% para la validación y el 15% para las pruebas. Se construyeron y probaron modelos de clasificación de caramelos duros defectuosos basados en CNN (Alexnet, Googlenet, VGG16, Resnet-18, Resnet34, Resnet50, MobileNetV2 y MnasNet0_5). Los resultados muestran que las actuaciones de clasificación de estos modelos de aprendizaje profundo son similares, excepto MnasNet0_5 con una precisión de clasificación del 84.28%, y el modelo de clasificación basado en Resnet50 es el mejor (98.71%). Esta investigación tiene cierta importancia de referencia teórica para la clasificación inteligente de productos granulares.