Argumentar y comunicarse son habilidades básicas en el currículo de matemáticas. Hacer argumentos en forma escrita facilita el razonamiento riguroso. Permite que los compañeros revisen los argumentos y reciban retroalimentación sobre ellos. Aunque requiere un esfuerzo cognitivo adicional en el proceso de cálculo, mejora la retención a largo plazo y facilita una comprensión más profunda. Sin embargo, desarrollar estas competencias en las aulas de educación primaria es un gran desafío. Requiere al menos dos condiciones: que todos los estudiantes escriban y que todos reciban retroalimentación inmediata. Una solución es utilizar plataformas en línea. Sin embargo, esto es muy exigente para el docente. El docente debe revisar 30 respuestas en tiempo real. Para facilitar la revisión, es necesario automatizar la detección de respuestas incoherentes. Así, el docente puede buscar corregirlas de inmediato. En este trabajo, analizamos 14,457 respuestas a preguntas abiertas escritas por 974 estudiantes de cuarto grado en la plataforma en línea ConectaIdeas. Un total del 13% de las respuestas eran incoherentes. Utilizando procesamiento de lenguaje natural y algoritmos de aprendizaje automático, construimos un clasificador automático. Luego, probamos el clasificador en un conjunto independiente de respuestas escritas a diferentes preguntas abiertas. Encontramos que el clasificador logró un F1-score = 79.15% para la detección de incoherencias, lo cual es mejor que las líneas base que utilizan diferentes heurísticas.