La detección de imágenes de granos abrasivos en herramientas de diamante sirve como base para evaluar la condición general de las herramientas, abarcando aspectos cruciales de los granos abrasivos de diamante como la cantidad, tamaño, morfología y distribución. Dadas las texturas de fondo intrincadas y las características reflectantes exhibidas por las imágenes de diamante, la detección y segmentación de diamantes plantean un desafío significativo. Recientemente, han surgido numerosos métodos de detección de defectos basados en aprendizaje automático y aprendizaje profundo. Sin embargo, persisten varios problemas, como la precisión de detección y la interferencia causada por las texturas de fondo intrincadas. El trabajo actual demuestra un algoritmo de red de clasificación y segmentación eficiente que combina Swin-Unet con SAM (Modelo de Segmentación de Cualquier Cosa) para aliviar los problemas existentes. Específicamente, se idearon cuatro estructuras de incrustación para unir los dos modelos para un entrenamiento iterativo. Los bloques transformadores dentro del modelo Swin-Unet se mejoraron para facilitar la clasificación y la segmentación gruesa, y la estructura de máscara en SAM se refinó para permitir una segmentación fina. Los resultados experimentales muestran que bajo un conjunto de datos de muestra pequeño con texturas de fondo complejas, los valores promedio de índice de (precisión), (sensibilidad) y (coeficiente de similitud de Dice) para la clasificación y segmentación de granos abrasivos de diamante alcanzaron el 98.7%, 92.5% y 85.9%, respectivamente. En comparación con el modelo anterior a la mejora, su , y aumentaron en 1.2%, 15.9% y 7.6%, respectivamente. Los resultados de prueba, basados en cuatro conjuntos de datos diferentes, indicaron consistentemente que este modelo tiene un excelente rendimiento de segmentación y robustez y tiene un gran potencial de aplicación en el campo industrial.