La detección de defectos en la superficie es una tarea clave en los procesos de producción industrial. Sin embargo, los métodos existentes aún sufren de una baja precisión de detección de defectos pequeños y de hoyos. Para resolver esos problemas, establecemos un conjunto de datos de defectos de hoyos y proponemos una red guiada por un modelo previo para la detección de defectos. Esta red está compuesta por una red de segmentación con una etiqueta de peso, una red de clasificación y un módulo de fusión de características de pirámide. La red de segmentación, como modelo previo, puede mejorar la precisión de la red de clasificación. La etiqueta de peso con transformación de distancia al centro puede reducir el costo de etiquetado de la red de segmentación. El módulo de fusión de características de pirámide puede adaptarse a defectos de diferentes escalas y evitar la pérdida de información de defectos pequeños. Se realizaron experimentos de comparación para identificar el rendimiento de la red propuesta. Se diseñaron experimentos de ablación para especificar la efectividad de cada módulo. Finalmente, la red se ejecuta en un conjunto de datos público para verificar su robustez. Los resultados experimentales revelan que el método propuesto puede identificar de manera efectiva defectos de hoyos de diferentes escalas y mejorar la precisión de la detección de defectos. La precisión puede alcanzar el 99.3%, lo que aumenta en un 2-5% en comparación con otros métodos, lo que revela su excelente aplicabilidad en la inspección de calidad automática de la producción industrial.