La nomenclatura de uso de suelo/cobertura terrestre (LULC) se organiza comúnmente como una jerarquía en forma de árbol, contribuyendo a la elaboración de mapas jerárquicos LULC. La estructura jerárquica se define típicamente considerando características naturales o actividades humanas, que pueden no alinearse de manera óptima con las características discriminativas y relaciones de clase presentes en imágenes captadas de forma remota. Este documento explora un novedoso marco de modelado jerárquico de clases basado en agrupamiento de clústeres que genera estructuras jerárquicas impulsadas por datos para la segmentación semántica de LULC. Primero, realizamos un agrupamiento espectral en matrices de confusión generadas por un modelo plano, y luego introducimos un índice de validez de clústeres jerárquicos para obtener el número óptimo de clústeres que generen jerarquías de clases iniciales. Además, empleamos técnicas de agrupamiento de conjuntos para obtener una jerarquía final refinada. Finalmente, realizamos experimentos comparativos en tres conjuntos de datos de referencia. Los resultados demuestran que el método propuesto supera a las jerarquías predefinidas tanto en la segmentación jerárquica LULC como en la clasificación.