El cáncer de mama es una de las causas más comunes de muerte en mujeres. Los primeros signos de cáncer de mama pueden ser una anormalidad representada en imágenes mamarias como la ultrasonografía mamaria. Desafortunadamente, las imágenes de ultrasonido contienen mucho ruido, lo que aumenta enormemente la dificultad para que los médicos las interpreten. En los últimos años, el diagnóstico asistido por computadora (CAD) se ha utilizado ampliamente en imágenes médicas, reduciendo la carga de trabajo de los médicos y la probabilidad de diagnósticos erróneos. Sin embargo, todavía enfrenta los siguientes desafíos en la práctica clínica: uno es la falta de interpretabilidad y otro es que la precisión no es lo suficientemente alta. En este documento, proponemos un modelo de clasificación de imágenes de ultrasonido mamario que aprovecha los límites del tumor como conocimiento previo y fortalece el modelo para guiar la clasificación. Además, empleamos las ventajas de la red neuronal convolucional (CNN) para extraer características locales y el Transformer para extraer características globales para lograr un equilibrio de información y complementariedad entre los dos modelos de redes neuronales, lo que aumenta el rendimiento de reconocimiento del modelo. Además, se utiliza un método de explicación para generar resultados visuales, mejorando así la baja interpretabilidad de los modelos de aprendizaje profundo. Finalmente, evaluamos el modelo en el conjunto de datos BUSI y lo comparamos con otros modelos de CNN y Transformer. Los resultados experimentales muestran que el modelo propuesto obtiene una precisión de 0.9870 y una puntuación F1 de 0.9872, logrando un rendimiento de vanguardia.