Un conjunto de datos de competencia en lengua española para la evaluación de IA
Autores: Peñas, Anselmo; Rodrigo, Álvaro; Fruns-Jiménez, Javier; Soria-Pastor, Inés; Moreno-Álvarez, Sergio; Pérez, Alberto; Reyes-Montesinos, Julio
Idioma: Inglés
Editor: MDPI
Año: 2026
Acceso abierto
Artículo científico
2026
Un conjunto de datos de competencia en lengua española para la evaluación de IA
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Evaluación comparativa
Comprensión lectora en español
Ic-uned-rc-es
Niveles de competencia
Formatos de ejercicio
Evaluación.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La evaluación de la comprensión lectora en español sigue siendo un desafío debido a la escasez de recursos calibrados por competencia basados en evaluaciones humanas auténticas. Presentamos IC-UNED-RC-ES, un referente que comprende más de 6000 ítems derivados de los exámenes del Instituto Cervantes, convertidos a un formato legible por máquina mientras se preserva la estructura del examen, los niveles de competencia y los criterios de puntuación. A diferencia de muchos recursos existentes, IC-UNED-RC-ES incluye un conjunto diverso de formatos de ejercicio, combinando preguntas de opción múltiple comunes con nuevos formatos como emparejamiento y completar el espacio en blanco, que apoyan una evaluación más amplia de las habilidades de lectura. El referente apoya la evaluación tanto a nivel de ítem como de examen e incluye una taxonomía de ejercicios con métricas específicas por categoría. Los resultados de referencia con los sistemas de IA actuales revelan un fuerte efecto de dificultad (una caída de 15 puntos de los niveles más bajos a los avanzados) y una variación sustancial entre los tipos de ejercicios, con categorías que requieren inferencia y discurso alcanzando solo el 41%. IC-UNED-RC-ES proporciona un banco de pruebas alineado con humanos e interpretable para diagnosticar fortalezas y debilidades en la comprensión lectora en español y para rastrear el progreso a través de generaciones de modelos.
Descripción
La evaluación de la comprensión lectora en español sigue siendo un desafío debido a la escasez de recursos calibrados por competencia basados en evaluaciones humanas auténticas. Presentamos IC-UNED-RC-ES, un referente que comprende más de 6000 ítems derivados de los exámenes del Instituto Cervantes, convertidos a un formato legible por máquina mientras se preserva la estructura del examen, los niveles de competencia y los criterios de puntuación. A diferencia de muchos recursos existentes, IC-UNED-RC-ES incluye un conjunto diverso de formatos de ejercicio, combinando preguntas de opción múltiple comunes con nuevos formatos como emparejamiento y completar el espacio en blanco, que apoyan una evaluación más amplia de las habilidades de lectura. El referente apoya la evaluación tanto a nivel de ítem como de examen e incluye una taxonomía de ejercicios con métricas específicas por categoría. Los resultados de referencia con los sistemas de IA actuales revelan un fuerte efecto de dificultad (una caída de 15 puntos de los niveles más bajos a los avanzados) y una variación sustancial entre los tipos de ejercicios, con categorías que requieren inferencia y discurso alcanzando solo el 41%. IC-UNED-RC-ES proporciona un banco de pruebas alineado con humanos e interpretable para diagnosticar fortalezas y debilidades en la comprensión lectora en español y para rastrear el progreso a través de generaciones de modelos.