En las primeras etapas de un desastre causado por un peligro natural (por ejemplo, una inundación), la cantidad de información disponible y útil es baja. Para llenar este vacío informativo, los respondedores de emergencia están utilizando cada vez más datos de las redes sociales geoespaciales para obtener información de testigos presenciales y construir una mejor comprensión de la situación y diseñar respuestas efectivas. Sin embargo, filtrar contenido relevante para este propósito representa un desafío. Este trabajo presenta una comparación de diferentes modelos de aprendizaje automático (Naïve Bayes, Random Forest, Support Vector Machine, Redes Neuronales Convolucionales, BERT) para la clasificación de relevancia semántica de Tweets en alemán relacionados con inundaciones. Para ello, nos basamos en un conjunto de datos de entrenamiento de cuatro categorías creado con la ayuda de expertos de organizaciones de ayuda humanitaria. Identificamos a BERT ajustado como el modelo más adecuado, promediando una precisión del 71% con la mayoría de las malas clasificaciones ocurriendo entre clases similares. Así, demostramos que nuestra metodología ayuda a identificar información relevante para una gestión de desastres más eficiente.