Este trabajo presenta un análisis comparativo de varios métodos de aprendizaje automático (ML) para predecir la dificultad de los ítems en pruebas de comprensión de lectura en inglés utilizando características de texto extraídas de los enunciados de los ítems. Se emplea una amplia gama de algoritmos de ML tanto en tareas de regresión supervisada como en clasificación, incluyendo métodos de regularización, máquinas de vectores de soporte, árboles, bosques aleatorios, redes neuronales de retropropagación y Naïve Bayes; además, los algoritmos de ML se comparan con el rendimiento de expertos en el dominio. Utilizando validación cruzada de -fold y considerando el error cuadrático medio (RMSE) como métrica de rendimiento, elastic net superó a otros enfoques en la predicción continua de la dificultad de los ítems. Dentro de los clasificadores, los bosques aleatorios mostraron la mayor precisión predictiva extendida. Demostramos que los algoritmos de ML que implementan características de texto de los ítems pueden competir con las predicciones realizadas por expertos en el dominio, y sugerimos que deberían utilizarse para informar y mejorar estas predicciones, especialmente cuando las pruebas previas de los ítems son limitadas o no están disponibles. Se necesita investigación futura para estudiar el rendimiento de los algoritmos de ML que utilizan características de texto de los ítems en diferentes tipos de ítems y poblaciones de encuestados.