Evaluando el rendimiento cognitivo de ChatGPT en la educación en ingeniería química
Autores: Shahid, Salman; Walmsley, Shaun
Idioma: Inglés
Editor: MDPI
Año: 2026
Acceso abierto
Artículo científico
2026
Evaluando el rendimiento cognitivo de ChatGPT en la educación en ingeniería química
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Modelos de lenguaje grandes
Ciencia
Ingeniería
Ingeniería química
Taxonomía de Bloom
Competencia
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los Modelos de Lenguaje Grande (LLMs) ocupan ahora un papel destacado en la ciencia, la ingeniería y la educación superior. Su capacidad para generar soluciones paso a paso, explicaciones conceptuales y caminos de resolución de problemas crea nuevas oportunidades, pero también nuevos riesgos, para los estudiantes de Ingeniería Química. A pesar del uso informal generalizado, pocos estudios empíricos han evaluado el rendimiento de los LLM utilizando un conjunto de datos diseñado sistemáticamente mapeado directamente a la Taxonomía de Bloom. Este estudio evalúa la competencia de ChatGPT en la resolución de problemas de Ingeniería Química mapeados a la Taxonomía de Bloom. Se utilizó un conjunto de datos diverso de problemas a nivel de pregrado que abarca seis dominios cognitivos para evaluar el razonamiento del modelo a través de niveles ascendentes de complejidad cognitiva. Cada respuesta fue evaluada por su precisión y categorizada en cinco tipos de errores. Aunque ChatGPT demostró un potencial considerable en una variedad de temas, el análisis también reveló importantes desafíos y limitaciones que informan las mejores prácticas para integrar LLM en la educación en Ingeniería Química. Los resultados muestran diferencias significativas en el rendimiento de ChatGPT a través de los niveles de Bloom, revelando tres niveles distintos de capacidad. Se observó un rendimiento fuerte en los niveles cognitivos más bajos (Recordar-Aplicar), mientras que se produjo una degradación sustancial en Analizar, Evaluar y especialmente Crear. Los hallazgos proporcionan una comprensión matizada y empíricamente fundamentada de los límites actuales de la capacidad de los LLM, con recomendaciones prácticas para los educadores que integran LLM en los planes de estudio de ingeniería.
Descripción
Los Modelos de Lenguaje Grande (LLMs) ocupan ahora un papel destacado en la ciencia, la ingeniería y la educación superior. Su capacidad para generar soluciones paso a paso, explicaciones conceptuales y caminos de resolución de problemas crea nuevas oportunidades, pero también nuevos riesgos, para los estudiantes de Ingeniería Química. A pesar del uso informal generalizado, pocos estudios empíricos han evaluado el rendimiento de los LLM utilizando un conjunto de datos diseñado sistemáticamente mapeado directamente a la Taxonomía de Bloom. Este estudio evalúa la competencia de ChatGPT en la resolución de problemas de Ingeniería Química mapeados a la Taxonomía de Bloom. Se utilizó un conjunto de datos diverso de problemas a nivel de pregrado que abarca seis dominios cognitivos para evaluar el razonamiento del modelo a través de niveles ascendentes de complejidad cognitiva. Cada respuesta fue evaluada por su precisión y categorizada en cinco tipos de errores. Aunque ChatGPT demostró un potencial considerable en una variedad de temas, el análisis también reveló importantes desafíos y limitaciones que informan las mejores prácticas para integrar LLM en la educación en Ingeniería Química. Los resultados muestran diferencias significativas en el rendimiento de ChatGPT a través de los niveles de Bloom, revelando tres niveles distintos de capacidad. Se observó un rendimiento fuerte en los niveles cognitivos más bajos (Recordar-Aplicar), mientras que se produjo una degradación sustancial en Analizar, Evaluar y especialmente Crear. Los hallazgos proporcionan una comprensión matizada y empíricamente fundamentada de los límites actuales de la capacidad de los LLM, con recomendaciones prácticas para los educadores que integran LLM en los planes de estudio de ingeniería.