logo móvil
Contáctanos

Aprendiendo a Calificar: Un Sistema de Codificación para Ítems de Respuesta Construida a través de Agrupamiento Interactivo

Autores: Luo, Lingjing; Yang, Hang; Li, Zhiwu; Pedrycz, Witold

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Aprendiendo a Calificar: Un Sistema de Codificación para Ítems de Respuesta Construida a través de Agrupamiento Interactivo


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Sistemas

Palabras clave

Elementos de respuesta construida
Método de codificación de respuesta automática
Sistema de codificación interactivo
Conocimiento experto
Rendimiento de puntuación
Fiabilidad entre evaluadores

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 29

Citaciones: Sin citaciones


Descripción
Los ítems de respuesta construida que requieren que el estudiante dé respuestas más detalladas y elaboradas se aplican ampliamente en evaluaciones a gran escala. Sin embargo, la puntuación manual con una rúbrica para respuestas masivas es laboriosa e impráctica debido a la subjetividad del evaluador y la variabilidad de las respuestas. El método de codificación automática de respuestas, como la puntuación automática de respuestas cortas, se ha convertido en un componente crítico del sistema de aprendizaje y evaluación. En este documento, proponemos un sistema de codificación interactivo llamado ASSIST para puntuar eficientemente las respuestas de los estudiantes con conocimiento experto y luego generar un clasificador de puntuación automática. Primero, las respuestas no calificadas se agrupan para generar códigos específicos, respuestas representativas y palabras indicadoras. El conjunto de restricciones basado en la retroalimentación de expertos se toma como datos de entrenamiento en el aprendizaje métrico para compensar el sesgo de la máquina. Mientras tanto, el clasificador de respuestas a código se entrena de acuerdo con los resultados de agrupamiento. En segundo lugar, los expertos revisan cada grupo codificado con las respuestas representativas y palabras indicadoras para puntuar una calificación. Los pares de grupos codificados y puntuaciones se validarán para asegurar la fiabilidad entre evaluadores. Finalmente, el clasificador está disponible para puntuar una nueva respuesta con detección de fuera de distribución, que se basa en la similitud entre la representación de la respuesta y el proxy de clase, es decir, el peso de la clase en la última capa lineal del clasificador. La originalidad del sistema desarrollado proviene del procedimiento de agrupamiento de respuestas interactivo, que involucra la retroalimentación de expertos y un clasificador automático adaptativo que puede identificar nuevas clases de respuestas. El sistema propuesto se evalúa en nuestro conjunto de datos de evaluación del mundo real. Los resultados de los experimentos demuestran la efectividad del sistema propuesto en la reducción del esfuerzo humano y la mejora del rendimiento de puntuación. Las mejoras promedio en la calidad de agrupamiento y la precisión de puntuación son del 14.48% y 18.94%, respectivamente. Además, informamos sobre la fiabilidad entre evaluadores, la tasa de fuera de distribución y las estadísticas de agrupamiento, antes y después de la interacción.

Otros recursos que podrían interesarte

Temas Virtualpro