Consideramos el problema de resolver tareas de Comprensión del Lenguaje Natural (NLU) caracterizadas por datos específicos de dominio. Un enfoque efectivo consiste en pre-entrenar modelos de lenguaje basados en Transformer desde cero utilizando datos específicos de dominio antes de ajustarlos a la tarea en cuestión. Un bajo volumen de datos específicos de dominio es problemático en este contexto, dado que el rendimiento de los modelos de lenguaje depende en gran medida de la abundancia de datos durante el pre-entrenamiento. Para estudiar este problema, creamos un banco de pruebas que replica el uso real de modelos de lenguaje para clasificar ocurrencias de aviación extraídas del corpus del Sistema de Reporte de Seguridad de Aviación (ASRS). Comparamos dos modelos de lenguaje en este nuevo banco de pruebas: ASRS-CMFS, un modelo compacto inspirado en RoBERTa, pre-entrenado desde cero utilizando solo un poco de datos específicos de dominio, y el modelo RoBERTa regular, sin pre-entrenamiento específico de dominio. El modelo RoBERTa se beneficia de su ventaja de tamaño, mientras que el ASRS-CMFS se beneficia de la estrategia de pre-entrenamiento desde cero. No encontramos evidencia estadística convincente de que RoBERTa supere a ASRS-CMFS, pero mostramos que ASRS-CMFS es más eficiente en términos de cómputo que RoBERTa. Sugerimos que pre-entrenar un modelo compacto desde cero es una buena estrategia para resolver tareas de NLU específicas de dominio utilizando modelos de lenguaje basados en Transformer en el contexto de la escasez de datos específicos de dominio.