Las redes de aprendizaje profundo se aplican para la detección de defectos, entre las cuales Cascade R-CNN es una red de detección de objetos de varias etapas y es el estado del arte en términos de precisión y eficiencia. Sin embargo, todavía es un desafío para Cascade R-CNN lidiar con defectos complejos y diversos, ya que las formas ampliamente variadas de los defectos conducen a una ineficiencia para que el filtro de convolución tradicional extraiga características. Además, el desequilibrio en las características, pérdidas y muestras causa una menor precisión. Para abordar los desafíos anteriores, este documento propone un R-CNN equilibrado de varias etapas (MSB R-CNN) para la detección de defectos basado en Cascade R-CNN. En primer lugar, se adopta la convolución deformable en diferentes etapas de la red principal para mejorar su adaptabilidad a las formas variables del defecto. Luego, las características obtenidas por la red principal se refinan y mejoran mediante la pirámide de características equilibradas. Para superar el desequilibrio de la clasificación y la pérdida de regresión, se aplica la pérdida L1 equilibrada en diferentes etapas para corregirla. Finalmente, para la selección de muestras, la interacción del muestreador equilibrado de unión (IoU) y el muestreador de minería de ejemplos difíciles en línea (OHEM) se combinan en diferentes etapas para que el muestreo sea más razonable, lo que puede llevar a una mejor precisión y efecto de convergencia en el modelo. Los resultados de nuestros experimentos en el conjunto de datos DAGM2007 han mostrado que nuestra red (MSB R-CNN) puede lograr una precisión promedio media (mAP) del 67.5%, un aumento del 1.5% en mAP, en comparación con Cascade R-CNN.