La segmentación precisa de pólipos desempeña un papel vital en la detección temprana y prevención del cáncer colorrectal. Sin embargo, las diversas formas, límites borrosos y tamaños variables de los pólipos presentan desafíos significativos para la segmentación automática. Los métodos existentes a menudo tienen dificultades con la extracción efectiva de características locales y el modelado de dependencias a largo plazo. Para superar estas limitaciones, este artículo propone PolypFormer, que incorpora un módulo de mejora de información local (LIEM) utilizando atención auto-selectiva de múltiples núcleos para capturar mejor las características de textura, junto con atención de canal densa para facilitar una fusión de características más efectiva. Además, se introduce un mecanismo de autoatención de ventanas en forma de cruz y se integra en la arquitectura Transformer para mejorar la comprensión semántica de las regiones de pólipos. Los resultados experimentales en cinco conjuntos de datos muestran que el método propuesto tiene un buen rendimiento en la segmentación de pólipos. En los conjuntos de datos de Kvasir-SEG, mDice y mIoU alcanzan 0.920 y 0.886, respectivamente.