Los defectos superficiales en el rotor del imán de ferrita magnética permanente son la causa principal de la disminución en el rendimiento y los riesgos de seguridad en los motores de imanes permanentes. Los métodos de visión artificial ofrecen la posibilidad de identificar defectos de forma automática. En respuesta a los desafíos en el rotor del imán de ferrita magnética permanente, este estudio propone un algoritmo mejorado You Only Look Once (YOLO) llamado SAB-YOLOv5. A través de una cámara de escaneo de línea se obtienen imágenes que capturan la superficie completa de un objeto general, y se construye un conjunto de datos que contiene defectos superficiales. Simultáneamente, se introduce un algoritmo mejorado de detección de defectos superficiales basado en YOLOv5. En primer lugar, el algoritmo mejora la capacidad de extraer características en diferentes escalas al incorporar la estructura de Atrous Spatial Pyramid Pooling (ASPP). Luego, se mejora la fusión de características combinando la operación de concatenación de tensores de la red de fusión de características con la estructura de Bidirectional Feature Pyramid Network (BiFPN). Finalmente, la introducción de la estructura convolucional de pirámide espacial dilatada (SPD) en la red base y en la salida mejora el rendimiento de detección de defectos mínimos en la superficie objetivo. En el estudio, el algoritmo SAB-YOLOv5 muestra un aumento notable del 84.2% al 98.3% en la precisión media promedio (mAP) en comparación con el algoritmo YOLOv5 original. Los resultados demuestran que el método de adquisición de datos y el algoritmo de detección diseñados en este documento mejoran efectivamente la eficiencia de detección de defectos en los rotores de imanes de ferrita magnética permanente.