Actualmente, la arquitectura de red neuronal más extendida para entrenar modelos de lenguaje es la llamada BERT, que ha llevado a mejoras en varias tareas de Procesamiento de Lenguaje Natural (NLP). En general, cuanto mayor es el número de parámetros en un modelo BERT, mejores son los resultados obtenidos en estas tareas de NLP. Desafortunadamente, el consumo de memoria y la duración del entrenamiento aumentan drásticamente con el tamaño de estos modelos. En este artículo, investigamos varias técnicas de entrenamiento de modelos BERT más pequeños: combinamos diferentes métodos de otras variantes de BERT, como ALBERT, RoBERTa y codificación posicional relativa. Además, proponemos dos nuevas modificaciones de ajuste fino que conducen a un mejor rendimiento: etiquetado Class-Start-End y una forma modificada de Campos Aleatorios Condicionales de Cadena Lineal. Además, introducimos la Atención de Palabra Completa, que reduce el uso de memoria de BERT y conduce a un pequeño aumento en el rendimiento en comparación con la Atención Multi-Cabeza clásica. Evaluamos estas técnicas en cinco tareas públicas de Reconocimiento de Entidades Nombradas (NER) en alemán, de las cuales dos son introducidas por este artículo.