La técnica de segmentación automática de pólipos colorrectales en colonoscopia se considera crítica para ayudar a los médicos en la identificación en tiempo real de lesiones y minimizar errores diagnósticos como falsos positivos y lesiones perdidas. A pesar del progreso significativo en la investigación existente, la segmentación precisa de pólipos colorrectales sigue siendo técnicamente desafiante debido a problemas persistentes como el bajo contraste entre pólipos y mucosa, la significativa heterogeneidad morfológica y la susceptibilidad a artefactos de imagen causados por burbujas en el lumen colorrectal y condiciones de iluminación deficientes. Para abordar estas limitaciones, este estudio propuso una red de agregación de rutas jerárquicas basada en transformadores de visión piramidal (HPANet) para la segmentación de pólipos. Específicamente, en primer lugar, se desarrolló el módulo de fusión de características multi-escalares hacia atrás (BMFM) para mejorar la capacidad de procesamiento de pólipos con diferentes escalas. En segundo lugar, se diseñó el módulo de reducción de ruido hacia adelante (FNRM) para aprender las características de textura de las capas superiores e inferiores y reducir la influencia de ruido como burbujas. Finalmente, para resolver el problema de la ambigüedad de los límites causada por el muestreo repetido hacia arriba y hacia abajo, se desarrolló el módulo de refinamiento de características de límite (BFRM) para refinar aún más el límite. La red propuesta se comparó con varias redes representativas en cinco conjuntos de datos públicos de pólipos. Los resultados experimentales muestran que la red propuesta logra un mejor rendimiento de segmentación, especialmente en el conjunto de datos Kvasir SEG, donde los coeficientes mDice y mIoU alcanzan 0.9204 y 0.8655.