La evaluación rápida y precisa de los daños en edificaciones desempeña un papel crítico en la respuesta a desastres. Basándose en pares de imágenes de teledetección previas y posteriores al desastre, se puede llevar a cabo una efectiva evaluación del nivel de daño en edificaciones. Sin embargo, la mayoría de los métodos existentes se basan en Redes Neuronales Convolucionales, las cuales tienen una capacidad limitada para aprender el contexto global. Un mecanismo de atención ayuda a mejorar este problema. El Transformador Jerárquico tiene un potencial poderoso en el campo de la teledetección con una sólida capacidad de modelado global. En este documento, proponemos un nuevo marco de evaluación de daños en dos etapas llamado SDAFormer, que incorpora un Transformador jerárquico simétrico en una red tipo U-Net siamesa. En la primera etapa, la imagen previa al desastre se introduce en una red de segmentación para la localización de edificaciones. En la segunda etapa, se establece una red de clasificación de daños de dos ramas basada en pesos compartidos de la primera etapa. Luego, las imágenes previas y posteriores al desastre se envían a la red por separado para la evaluación de daños. Además, se diseña un módulo de fusión espacial para mejorar la capacidad de representación de características mediante la correlación a nivel de píxeles de edificaciones, lo que establece información espacial en bloques de Transformadores Swin. El marco propuesto logra una mejora significativa en el conjunto de datos de evaluación de daños en edificaciones a gran escala xBD.