Muchas arquitecturas de procesamiento de lenguaje natural se ven fuertemente afectadas por decisiones de diseño aparentemente pequeñas, como el agrupamiento y el aprendizaje curricular (cómo se ordenan los datos de entrenamiento durante el entrenamiento). Con el fin de comprender mejor el impacto de estas decisiones, presentamos un análisis sistemático de diferentes estrategias de aprendizaje curricular y diferentes estrategias de agrupamiento. Consideramos múltiples conjuntos de datos para tres tareas: clasificación de texto, similitud de oraciones y frases, y etiquetado de partes del discurso. Nuestros experimentos demuestran que ciertas decisiones de aprendizaje curricular y agrupamiento aumentan sustancialmente el rendimiento para algunas tareas.