Aprendiendo a Calificar: Un Sistema de Codificación para Ítems de Respuesta Construida a través de Agrupamiento Interactivo
Autores: Luo, Lingjing; Yang, Hang; Li, Zhiwu; Pedrycz, Witold
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Aprendiendo a Calificar: Un Sistema de Codificación para Ítems de Respuesta Construida a través de Agrupamiento Interactivo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Elementos de respuesta construida
Método de codificación de respuesta automática
Sistema de codificación interactivo
Conocimiento experto
Rendimiento de puntuación
Fiabilidad entre evaluadores
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
Los ítems de respuesta construida que requieren que el estudiante dé respuestas más detalladas y elaboradas se aplican ampliamente en evaluaciones a gran escala. Sin embargo, la puntuación manual con una rúbrica para respuestas masivas es laboriosa e impráctica debido a la subjetividad del evaluador y la variabilidad de las respuestas. El método de codificación automática de respuestas, como la puntuación automática de respuestas cortas, se ha convertido en un componente crítico del sistema de aprendizaje y evaluación. En este documento, proponemos un sistema de codificación interactivo llamado ASSIST para puntuar eficientemente las respuestas de los estudiantes con conocimiento experto y luego generar un clasificador de puntuación automática. Primero, las respuestas no calificadas se agrupan para generar códigos específicos, respuestas representativas y palabras indicadoras. El conjunto de restricciones basado en la retroalimentación de expertos se toma como datos de entrenamiento en el aprendizaje métrico para compensar el sesgo de la máquina. Mientras tanto, el clasificador de respuestas a código se entrena de acuerdo con los resultados de agrupamiento. En segundo lugar, los expertos revisan cada grupo codificado con las respuestas representativas y palabras indicadoras para puntuar una calificación. Los pares de grupos codificados y puntuaciones se validarán para asegurar la fiabilidad entre evaluadores. Finalmente, el clasificador está disponible para puntuar una nueva respuesta con detección de fuera de distribución, que se basa en la similitud entre la representación de la respuesta y el proxy de clase, es decir, el peso de la clase en la última capa lineal del clasificador. La originalidad del sistema desarrollado proviene del procedimiento de agrupamiento de respuestas interactivo, que involucra la retroalimentación de expertos y un clasificador automático adaptativo que puede identificar nuevas clases de respuestas. El sistema propuesto se evalúa en nuestro conjunto de datos de evaluación del mundo real. Los resultados de los experimentos demuestran la efectividad del sistema propuesto en la reducción del esfuerzo humano y la mejora del rendimiento de puntuación. Las mejoras promedio en la calidad de agrupamiento y la precisión de puntuación son del 14.48% y 18.94%, respectivamente. Además, informamos sobre la fiabilidad entre evaluadores, la tasa de fuera de distribución y las estadísticas de agrupamiento, antes y después de la interacción.
Descripción
Los ítems de respuesta construida que requieren que el estudiante dé respuestas más detalladas y elaboradas se aplican ampliamente en evaluaciones a gran escala. Sin embargo, la puntuación manual con una rúbrica para respuestas masivas es laboriosa e impráctica debido a la subjetividad del evaluador y la variabilidad de las respuestas. El método de codificación automática de respuestas, como la puntuación automática de respuestas cortas, se ha convertido en un componente crítico del sistema de aprendizaje y evaluación. En este documento, proponemos un sistema de codificación interactivo llamado ASSIST para puntuar eficientemente las respuestas de los estudiantes con conocimiento experto y luego generar un clasificador de puntuación automática. Primero, las respuestas no calificadas se agrupan para generar códigos específicos, respuestas representativas y palabras indicadoras. El conjunto de restricciones basado en la retroalimentación de expertos se toma como datos de entrenamiento en el aprendizaje métrico para compensar el sesgo de la máquina. Mientras tanto, el clasificador de respuestas a código se entrena de acuerdo con los resultados de agrupamiento. En segundo lugar, los expertos revisan cada grupo codificado con las respuestas representativas y palabras indicadoras para puntuar una calificación. Los pares de grupos codificados y puntuaciones se validarán para asegurar la fiabilidad entre evaluadores. Finalmente, el clasificador está disponible para puntuar una nueva respuesta con detección de fuera de distribución, que se basa en la similitud entre la representación de la respuesta y el proxy de clase, es decir, el peso de la clase en la última capa lineal del clasificador. La originalidad del sistema desarrollado proviene del procedimiento de agrupamiento de respuestas interactivo, que involucra la retroalimentación de expertos y un clasificador automático adaptativo que puede identificar nuevas clases de respuestas. El sistema propuesto se evalúa en nuestro conjunto de datos de evaluación del mundo real. Los resultados de los experimentos demuestran la efectividad del sistema propuesto en la reducción del esfuerzo humano y la mejora del rendimiento de puntuación. Las mejoras promedio en la calidad de agrupamiento y la precisión de puntuación son del 14.48% y 18.94%, respectivamente. Además, informamos sobre la fiabilidad entre evaluadores, la tasa de fuera de distribución y las estadísticas de agrupamiento, antes y después de la interacción.