En los últimos años, se ha presenciado una amplia investigación de la tecnología de detección de defectos en superficies basada en visión por computadora, lo que ha dado lugar a varios métodos de detección efectivos. En particular, el auge del aprendizaje profundo ha permitido que la tecnología de detección de defectos en superficies se desarrolle aún más. Sin embargo, estos métodos basados en aprendizaje profundo aún tienen algunas desventajas. Por ejemplo, el tamaño de los datos de muestra no es lo suficientemente grande como para soportar el aprendizaje profundo; la localización y el reconocimiento de los defectos en la superficie no son lo suficientemente precisos; el rendimiento en tiempo real de la segmentación y clasificación no es satisfactorio. En este contexto, este artículo propone un modelo de red neuronal convolucional de extremo a extremo: la red de segmentación pixel a pixel y clasificación por imagen (PSIC-Net). Con el diseño innovador de una estructura de red de tres etapas, una función de pérdida mejorada y un modo de entrenamiento en dos pasos, PSIC-Net puede segmentar y clasificar con precisión y rapidez los defectos en superficies con un pequeño conjunto de datos de entrenamiento. Este modelo fue evaluado con tres conjuntos de datos públicos y comparado con los métodos de detección de defectos más avanzados. Todos los métricas de rendimiento demuestran la efectividad y el avance de PSIC-Net.