La segmentación precisa de los vasos retinianos es un paso crucial en el diagnóstico clínico y tratamiento de enfermedades de la retina. Aunque se han presentado muchos esfuerzos para abordar la tarea, el rendimiento de la segmentación en regiones desafiantes (por ejemplo, vasos colaterales) aún no es satisfactorio, debido a su morfología delgada o al bajo contraste entre primer plano y fondo. En este trabajo, observamos que existe una apariencia intrínseca en la imagen retiniana: entre los vasos dendríticos hay estructuras similares generosas, por ejemplo, los vasos principales y colaterales son todos curvilíneos, pero tienen diferencias de escala notables. Basándonos en esta observación, proponemos un nuevo transformador de atención cruzada a escala (CAT) para fomentar los efectos de segmentación en regiones desafiantes. Específicamente, CAT consume características con diferentes escalas para producir su matriz de atención compartida, y luego integra completamente la información beneficiosa entre ellas. Esta nueva arquitectura de atención podría explorar la idea de múltiples escalas de manera más eficiente, logrando así un aprendizaje mutuo de estructuras similares. Además, se diseñó un módulo de refinamiento progresivo de bordes (ERM) para refinar los bordes del primer plano y el fondo en los resultados de segmentación. A través de la idea de desacoplamiento de bordes, ERM podría suprimir la característica de fondo cerca de los vasos sanguíneos y mejorar la característica del primer plano, para segmentar los vasos con precisión. Realizamos experimentos extensos y discusiones en los conjuntos de datos DRIVE y CHASE_DB1 para verificar el marco propuesto. Los resultados experimentales muestran que nuestro método tiene grandes ventajas en la métrica Se, que son 0,88-7,26% y 0,81-7,11% más altas que los métodos de vanguardia en DRIVE y CHASE_DB1, respectivamente. Además, el método propuesto también supera a otros métodos con un 0,17-2,06% en términos de la métrica de Dice en DRIVE.