La creciente frecuencia e intensidad de los eventos climáticos extremos están acelerando los mecanismos de degradación superficial de los edificios patrimoniales, por lo que es apropiado encontrar técnicas automáticas para reducir el tiempo y el costo del monitoreo y apoyar su conservación planificada. Aquí se presenta un enfoque completamente automatizado para la segmentación y clasificación de los elementos arquitectónicos que componen una de las fachadas del Palazzo Pitti. El objetivo de este análisis es proporcionar herramientas para una evaluación más detallada del riesgo de desprendimiento de partes de los elementos de arenisca pietraforte. Se aplicaron técnicas de aprendizaje automático para la segmentación y clasificación de información de un DEM obtenido a través de un levantamiento fotogramétrico con dron. Se realizó una clasificación geométrica no supervisada de los objetos segmentados utilizando K-means para identificar los elementos más vulnerables según sus formas. Los resultados fueron validados mediante la comparación con aquellos obtenidos a través de segmentación y clasificación manual, así como con estudios realizados por expertos en el campo. Los resultados iniciales, que pueden integrarse con información no geométrica, muestran la utilidad de los levantamientos con dron en el contexto del monitoreo automático de edificios patrimoniales.