Desacoplando la Percepción de Equidad de la Validez de la Evaluación en la Evaluación por Pares Mediadas Digitalmente: Un Estudio de fsQCA en Dos Etapas
Autores: Huang, Duen-Huang; Wang, Yu-Cheng
Idioma: Inglés
Editor: MDPI
Año: 2026
Acceso abierto
Artículo científico
2026
Desacoplando la Percepción de Equidad de la Validez de la Evaluación en la Evaluación por Pares Mediadas Digitalmente: Un Estudio de fsQCA en Dos Etapas
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Inteligencia artificial
Evaluación entre pares
Percepción de equidad
Validez de la calificación
Analítica del aprendizaje
Configuración
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La inteligencia artificial (IA) se ha integrado cada vez más en entornos de aprendizaje mejorados por la tecnología, donde la evaluación entre pares ahora cumple tanto propósitos instructivos como analíticos. Más allá de asignar retroalimentación y calificaciones, también produce datos que luego se interpretan a través de sistemas de análisis de aprendizaje. En la práctica, indicadores visibles como las percepciones de equidad de los estudiantes y el grado de acuerdo entre los evaluadores pares a menudo se tratan como signos de que el proceso de evaluación está funcionando de manera efectiva. Sin embargo, estos indicadores no corresponden necesariamente a la validez de la calificación. Los estudiantes pueden considerar un proceso de evaluación entre pares como justo incluso cuando las calificaciones generadas por pares permanecen débilmente alineadas con el juicio de expertos. Este estudio, por lo tanto, examina si las configuraciones socio-técnicas asociadas con una alta percepción de equidad en un entorno de evaluación entre pares mediado digitalmente también corresponden a la validez de la calificación referenciada a criterios. Se recopilaron datos de 215 estudiantes de pregrado inscritos en un curso de Fundamentos de Inteligencia Artificial durante dos semestres consecutivos en una universidad en Taiwán, con las calificaciones del instructor sirviendo como una referencia externa de experto dentro del contexto del curso, en lugar de como una verdad universal. Debido a que las condiciones de anonimato y el semestre estaban completamente confundidos en el diseño del estudio, las diferencias vinculadas al anonimato no deben interpretarse como efectos causales aislados. Se utilizó un Análisis Comparativo Cualitativo de Conjuntos Difusos (fsQCA) en dos etapas. En la primera etapa, se identificaron tres configuraciones equifinales asociadas con una alta percepción de equidad. En la segunda etapa, estas configuraciones se examinaron en relación con cuatro resultados de objetividad en la calificación: alineación entre pares e instructores, convergencia entre pares, sesgo de familiaridad y sesgo de indulgencia. Los hallazgos muestran que la percepción de equidad y la validez de la calificación solo están parcialmente alineadas. Las configuraciones ancladas en la transparencia de criterios explícitos apoyaron consistentemente tanto la legitimidad experiencial como la precisión evaluativa. Por el contrario, una configuración se asoció con una alta convergencia entre pares mientras permanecía débilmente alineada con los estándares del instructor, un patrón descrito aquí como falsa objetividad; este hallazgo configuracional dependiente del contexto merece una mayor investigación en otros entornos. El estudio contribuye a la investigación sobre evaluación mejorada digitalmente y análisis de aprendizaje al mostrar que la percepción de equidad, la convergencia entre pares y la validez de la calificación deben tratarse como dimensiones analíticamente distintas de la calidad de la evaluación.
Descripción
La inteligencia artificial (IA) se ha integrado cada vez más en entornos de aprendizaje mejorados por la tecnología, donde la evaluación entre pares ahora cumple tanto propósitos instructivos como analíticos. Más allá de asignar retroalimentación y calificaciones, también produce datos que luego se interpretan a través de sistemas de análisis de aprendizaje. En la práctica, indicadores visibles como las percepciones de equidad de los estudiantes y el grado de acuerdo entre los evaluadores pares a menudo se tratan como signos de que el proceso de evaluación está funcionando de manera efectiva. Sin embargo, estos indicadores no corresponden necesariamente a la validez de la calificación. Los estudiantes pueden considerar un proceso de evaluación entre pares como justo incluso cuando las calificaciones generadas por pares permanecen débilmente alineadas con el juicio de expertos. Este estudio, por lo tanto, examina si las configuraciones socio-técnicas asociadas con una alta percepción de equidad en un entorno de evaluación entre pares mediado digitalmente también corresponden a la validez de la calificación referenciada a criterios. Se recopilaron datos de 215 estudiantes de pregrado inscritos en un curso de Fundamentos de Inteligencia Artificial durante dos semestres consecutivos en una universidad en Taiwán, con las calificaciones del instructor sirviendo como una referencia externa de experto dentro del contexto del curso, en lugar de como una verdad universal. Debido a que las condiciones de anonimato y el semestre estaban completamente confundidos en el diseño del estudio, las diferencias vinculadas al anonimato no deben interpretarse como efectos causales aislados. Se utilizó un Análisis Comparativo Cualitativo de Conjuntos Difusos (fsQCA) en dos etapas. En la primera etapa, se identificaron tres configuraciones equifinales asociadas con una alta percepción de equidad. En la segunda etapa, estas configuraciones se examinaron en relación con cuatro resultados de objetividad en la calificación: alineación entre pares e instructores, convergencia entre pares, sesgo de familiaridad y sesgo de indulgencia. Los hallazgos muestran que la percepción de equidad y la validez de la calificación solo están parcialmente alineadas. Las configuraciones ancladas en la transparencia de criterios explícitos apoyaron consistentemente tanto la legitimidad experiencial como la precisión evaluativa. Por el contrario, una configuración se asoció con una alta convergencia entre pares mientras permanecía débilmente alineada con los estándares del instructor, un patrón descrito aquí como falsa objetividad; este hallazgo configuracional dependiente del contexto merece una mayor investigación en otros entornos. El estudio contribuye a la investigación sobre evaluación mejorada digitalmente y análisis de aprendizaje al mostrar que la percepción de equidad, la convergencia entre pares y la validez de la calificación deben tratarse como dimensiones analíticamente distintas de la calidad de la evaluación.