Las plataformas de redes sociales como Twitter son una fuente vital de información durante eventos importantes, como desastres naturales. Los estudios que intentan detectar automáticamente las comunicaciones textuales se han centrado principalmente en algoritmos de aprendizaje automático y aprendizaje profundo. Las pruebas recientes muestran una mejora en los modelos de detección de desastres con el uso de técnicas de incrustación de palabras contextuales (es decir, transformadores) que tienen en cuenta el contexto de una palabra, a diferencia de las técnicas tradicionales sin contexto; sin embargo, los estudios sobre este modelo son escasos. Con este fin, este documento investiga una selección de modelos de aprendizaje de conjunto al fusionar transformadores con algoritmos de redes neuronales profundas para evaluar su rendimiento en la detección de comunicaciones informativas y no informativas relacionadas con desastres en Twitter. Se utilizaron un total de 7613 tweets para entrenar y probar los modelos. Los resultados indican que los modelos de conjunto ofrecen consistentemente buenos resultados de rendimiento, con valores de F-score que van del 76% al 80%. Las variantes de transformadores más simples, como ELECTRA y Talking-Heads Attention, ofrecieron resultados comparables y superiores en comparación con el costoso BERT, con F-scores que van del 80% al 84%, especialmente cuando se fusionan con Bi-LSTM. Nuestros hallazgos muestran que los transformadores más nuevos y simples pueden utilizarse de manera efectiva, con menores costos computacionales, en la detección de comunicaciones relacionadas con desastres en Twitter.