El cáncer colorrectal (CCR) es un tumor gastrointestinal prevalente con altas tasas de incidencia y mortalidad. La detección temprana del CCR puede mejorar las tasas de curación y reducir la mortalidad. Recientemente, el diagnóstico de imágenes patológicas basado en redes neuronales convolucionales profundas (CNN) ha sido estudiado intensamente para hacer frente al desafío del análisis manual intensivo y que consume tiempo de imágenes de alta resolución de diapositivas completas (WSIs). A pesar de los logros obtenidos, los métodos basados en CNN profundos todavía sufren algunas limitaciones, y el problema fundamental es que no pueden capturar características globales. Para abordar este problema, proponemos un marco de aprendizaje profundo híbrido (RGSB-UNet) para la segmentación automática de tumores en WSIs. El marco adopta una arquitectura UNet que consta del bloque de fantasma residual recién diseñado con normalización conmutable (RGS) y el transformador de cuello de botella (BoT) para el muestreo descendente para extraer características refinadas, y la convolución transpuesta y la convolución 1 x 1 con ReLU para el muestreo ascendente para restaurar la resolución del mapa de características a la del imagen original. El marco propuesto combina las ventajas de la correlación espacial-local de las CNN y las dependencias de características a larga distancia de BoT, asegurando su capacidad de extraer características más refinadas y robustez a tamaños de lotes variables. Además, consideramos una función de pérdida de dados por clase (CDL) para entrenar la red de segmentación. La red propuesta logra un rendimiento de segmentación de vanguardia bajo tamaños de lotes pequeños. Los resultados experimentales en los conjuntos de datos DigestPath2019 y GlaS demuestran que nuestro modelo propuesto produce puntajes de evaluación superiores y resultados de segmentación de vanguardia.