La inspección de mapas de obleas es esencial para el control de calidad y análisis en la fabricación de semiconductores. La red neuronal convolucional profunda (DCNN) es el algoritmo más efectivo en el análisis de patrones de defectos en obleas. Las DCNN tradicionales dependen en gran medida de conjuntos de datos de alta calidad para el entrenamiento. Sin embargo, obtener datos etiquetados equilibrados y suficientes es difícil en la práctica. Este documento reconsidera las causas del desequilibrio y propone un método de aprendizaje profundo que puede aprender conocimientos robustos de un conjunto de datos desequilibrado utilizando el mecanismo de atención y la normalización coseno. Interpretamos el desequilibrio del conjunto de datos como un desequilibrio tanto en la distribución de características como en la cantidad. Para compensar el desequilibrio en la distribución de características, añadimos un módulo de atención convolucional mejorado a la DCNN para mejorar la representación. En particular, se desarrolla un módulo de mapeo de dirección específico del mapa de características para amplificar la información posicional de los clústeres de defectos. Para el desequilibrio en la distribución de cantidades, se propone el algoritmo de normalización coseno para reemplazar la capa completamente conectada, y el ajuste fino del clasificador se realiza a través de una pequeña cantidad de entrenamiento iterativo, lo que disminuye la sensibilidad a la distribución cuantitativa. Los resultados experimentales en conjuntos de datos del mundo real demuestran que el método propuesto mejora significativamente la robustez de la inspección de mapas de obleas y supera a los algoritmos existentes cuando se entrena en conjuntos de datos desequilibrados.