Las promesas y desafíos de los grandes modelos de lenguaje como proveedores de retroalimentación: un estudio sobre la ingeniería de indicaciones y la calidad de la retroalimentación impulsada por IA
Autores: Jacobsen, Lucas Jasper; Weber, Kira Elena
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Las promesas y desafíos de los grandes modelos de lenguaje como proveedores de retroalimentación: un estudio sobre la ingeniería de indicaciones y la calidad de la retroalimentación impulsada por IA
Categoría
Ingeniería y Tecnología
Subcategoría
Inteligencia Artificial
Palabras clave
Inteligencia artificial
Educación superior
Retroalimentación
Modelos de lenguaje
Educación docente
Calidad de la consigna
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
Antecedentes/Objetivos: La inteligencia artificial (IA) está transformando la educación superior (ES), remodelando los procesos de enseñanza, aprendizaje y retroalimentación. La retroalimentación generada por grandes modelos de lenguaje (LLMs) ha demostrado potencial para mejorar los resultados de aprendizaje de los estudiantes. Sin embargo, pocos estudios empíricos han comparado directamente la calidad de la retroalimentación de LLM con la retroalimentación de novatos y expertos. Este estudio investiga (1) los tipos de indicaciones necesarias para garantizar una retroalimentación de LLM de alta calidad en la educación docente y (2) cómo se compara la retroalimentación de novatos, expertos y LLM en cuanto a calidad. Métodos: Para abordar estas preguntas, desarrollamos un manual basado en teorías para evaluar la calidad de las indicaciones y diseñamos tres indicaciones de calidad variable. La retroalimentación generada por ChatGPT-4 fue evaluada junto con la retroalimentación de novatos y expertos, a quienes se les proporcionó la indicación de mayor calidad. Resultados: Nuestros hallazgos revelan que solo la mejor indicación produjo consistentemente retroalimentación de alta calidad. Además, la retroalimentación de LLM superó la retroalimentación de novatos y, en las categorías explicación, preguntas y especificidad, incluso superó la retroalimentación de expertos en calidad mientras se generaba más rápidamente. Conclusiones: Estos resultados sugieren que los LLM, cuando se guían con indicaciones bien elaboradas, pueden servir como alternativas eficientes y de alta calidad a la retroalimentación de expertos. Los hallazgos subrayan la importancia de la calidad de las indicaciones y enfatizan la necesidad de pautas de diseño de indicaciones para maximizar el potencial de los LLM en la educación docente.
Descripción
Antecedentes/Objetivos: La inteligencia artificial (IA) está transformando la educación superior (ES), remodelando los procesos de enseñanza, aprendizaje y retroalimentación. La retroalimentación generada por grandes modelos de lenguaje (LLMs) ha demostrado potencial para mejorar los resultados de aprendizaje de los estudiantes. Sin embargo, pocos estudios empíricos han comparado directamente la calidad de la retroalimentación de LLM con la retroalimentación de novatos y expertos. Este estudio investiga (1) los tipos de indicaciones necesarias para garantizar una retroalimentación de LLM de alta calidad en la educación docente y (2) cómo se compara la retroalimentación de novatos, expertos y LLM en cuanto a calidad. Métodos: Para abordar estas preguntas, desarrollamos un manual basado en teorías para evaluar la calidad de las indicaciones y diseñamos tres indicaciones de calidad variable. La retroalimentación generada por ChatGPT-4 fue evaluada junto con la retroalimentación de novatos y expertos, a quienes se les proporcionó la indicación de mayor calidad. Resultados: Nuestros hallazgos revelan que solo la mejor indicación produjo consistentemente retroalimentación de alta calidad. Además, la retroalimentación de LLM superó la retroalimentación de novatos y, en las categorías explicación, preguntas y especificidad, incluso superó la retroalimentación de expertos en calidad mientras se generaba más rápidamente. Conclusiones: Estos resultados sugieren que los LLM, cuando se guían con indicaciones bien elaboradas, pueden servir como alternativas eficientes y de alta calidad a la retroalimentación de expertos. Los hallazgos subrayan la importancia de la calidad de las indicaciones y enfatizan la necesidad de pautas de diseño de indicaciones para maximizar el potencial de los LLM en la educación docente.