Las masas son los primeros indicadores del cáncer de mama, y distinguir entre masas benignas y malignas es un problema desafiante. Se han propuesto muchos métodos basados en aprendizaje automático y aprendizaje profundo para distinguir entre masas benignas y malignas en mamogramas. Sin embargo, su rendimiento no es satisfactorio. Aunque se ha demostrado que el aprendizaje profundo es efectivo en una variedad de aplicaciones, es desafiante aplicarlo para la clasificación de masas ya que requiere un gran conjunto de datos para el entrenamiento y el número de mamogramas anotados disponibles es limitado. Un enfoque común para superar este problema es emplear un modelo pre-entrenado y ajustarlo finamente en mamogramas. Aunque esto funciona bien, todavía implica ajustar finamente un gran número de parámetros aprendibles con un pequeño número de mamogramas anotados. Para abordar el problema del conjunto pequeño en el entrenamiento o ajuste fino de modelos CNN, presentamos un nuevo método que utiliza un CNN pre-entrenado sin ninguna modificación como un modelo de extremo a extremo para la clasificación de masas, sin ajustar los parámetros aprendibles. La fase de entrenamiento solo identifica las neuronas en la capa de clasificación, que generan una activación más alta para cada clase, y luego utiliza la activación de estas neuronas para clasificar una ROI de masa desconocida. Evaluamos el enfoque propuesto utilizando diferentes modelos CNN en conjuntos de datos de referencia de dominio público, como DDSM e INbreast. Los resultados muestran que supera a los métodos basados en aprendizaje profundo de última generación.