Como resultado de influencias ambientales y humanas, emergen varios tipos de deterioro superficial en edificios históricos, lo que resulta en un declive en la calidad de estas estructuras e incluso amenazas a su seguridad. En el enfoque convencional, evaluar el daño superficial en una estructura implica el juicio y la evaluación que consumen tiempo y son laboriosos por parte de profesionales capacitados. En este estudio, se sugiere que se utilice el modelo de aprendizaje automático YOLOv4 para encontrar automáticamente cinco tipos de daño en edificios históricos de ladrillo gris. Esto haría que el trabajo fuera más rápido. Este estudio utiliza los edificios de paredes de ladrillo gris en la zona de amortiguamiento del patrimonio cultural mundial en Macao como ejemplo. En total, se tomaron 1355 fotografías in situ de las paredes de ladrillo gris, y se identificaron los cinco tipos de daño más comunes. Al recortar y etiquetar las fotos, se creó un conjunto de entrenamiento de 1000 imágenes, y a través del entrenamiento del modelo de 200 generaciones, el modelo puede identificar con precisión y efectivamente el estado de daño de los ladrillos grises y mejorar el juicio y la evaluación de la calidad de las paredes exteriores de los edificios históricos. Los experimentos nos permiten llegar a las siguientes conclusiones: (1) El daño a los edificios antiguos de ladrillo gris en Macao está afectado por el clima marítimo subtropical. La pintura faltante, las manchas y las grietas son los principales contribuyentes al daño de las paredes de ladrillo gris. (2) El aprendizaje automático puede ayudar a determinar el tipo de daño a los viejos edificios de ladrillo gris, lo que es útil para gestionar y proteger los edificios históricos. (3) El modelo en este estudio puede identificar cinco tipos de daño: falta de material, grietas, erosión por plantas o microbios, amarillamiento y contaminación en las paredes exteriores de los antiguos edificios de ladrillo gris. Es útil para identificar y evaluar con precisión la condición dañada de la pared de ladrillo gris y formular esquemas de protección correspondientes.