Los modelos de lenguaje de IA están transformando cada vez más la investigación lingüística de diversas maneras. ¿Cómo pueden los educadores y investigadores de lenguas responder al desafío que plantean estos modelos de IA? Específicamente, ¿cómo podemos abrazar esta tecnología para informar y mejorar el aprendizaje y la enseñanza de un segundo idioma? Con el fin de caracterizar e indexar cuantitativamente la escritura en un segundo idioma, el trabajo actual propone el uso de similitudes derivadas de representaciones de significado contextualizadas en modelos de lenguaje de IA. El análisis computacional en este trabajo está impulsado por hipótesis. El trabajo actual predice cómo deberían distribuirse las similitudes en un entorno de aprendizaje de un segundo idioma. Los resultados sugieren que las métricas de similitud son informativas para la evaluación de la competencia en escritura y el desarrollo interlingüístico. Se encontraron efectos estadísticamente significativos en múltiples modelos de IA. La mayoría de las métricas pudieron distinguir los niveles de competencia de los aprendices de idiomas. También se encontraron correlaciones significativas entre las métricas de similitud y las puntuaciones de las pruebas de escritura de los aprendices proporcionadas por expertos humanos en el dominio. Sin embargo, no todos esos efectos fueron fuertes o interpretables. Varios resultados no pudieron ser explicados de manera consistente bajo las hipótesis propuestas de aprendizaje de un segundo idioma. En general, la investigación actual indica que, con una configuración cuidadosa y un diseño sistemático de métricas, los modelos de lenguaje de IA pueden ser herramientas prometedoras para avanzar en la educación lingüística.