La segmentación y clasificación de núcleos en imágenes de histopatología H&E a menudo se ve limitada por la distribución de larga cola de los tipos de núcleos. Sin embargo, la fuerte capacidad de generalización de modelos de base de segmentación de imágenes como el Modelo Segment Anything (SAM) puede ayudar a mejorar la calidad de detección de tipos raros de núcleos. En este trabajo, introducimos descriptores de categoría para realizar la segmentación y clasificación de núcleos al solicitar el modelo SAM. Cerramos la brecha de dominio entre imágenes de histopatología e imágenes de escenas naturales al alinear características en el espacio de bajo nivel mientras se preservan las representaciones de alto nivel de SAM. Realizamos experimentos extensos en el conjunto de datos de Lagarto, validando la capacidad de nuestro modelo para realizar la segmentación y clasificación automática de núcleos, especialmente para tipos raros de núcleos, donde se logró una mejora significativa en la puntuación F1 de hasta el 12%. Nuestro modelo también mantiene la compatibilidad con indicaciones manuales de puntos para un refinamiento interactivo durante la inferencia sin necesidad de entrenamiento adicional.