Modernizando las curvas característica de operación del receptor (ROC)
Autores: Pendrill, Leslie R.; Melin, Jeanette; Stavelin, Anne; Nordin, Gunnar
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Modernizando las curvas característica de operación del receptor (ROC)
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Medición
Cumplimiento
ROC
Limitaciones
MSA
IRT
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 42
Citaciones: Sin citaciones
La justificación para realizar una medición puede buscarse preguntando en qué decisiones se basan en la medición, como en la evaluación del cumplimiento de una característica de calidad de una entidad en relación con un límite de especificación. El desempeño relativo de los dispositivos de prueba y los algoritmos de clasificación utilizados en la evaluación del cumplimiento se evalúa a menudo utilizando la venerable y siempre popular característica operativa del receptor (ROC). Sin embargo, la herramienta ROC tiene potencialmente todas las limitaciones de la teoría clásica de pruebas (CTT) como la no linealidad, efectos de ordinalidad y dificultad de tarea confusa y habilidad del instrumento. Estas limitaciones, inherentes y a menudo no reconocidas al usar la herramienta ROC, se abordan aquí por primera vez con un enfoque modernizado que combina análisis del sistema de medición (MSA) y teoría de respuesta al ítem (IRT), utilizando datos de pruebas de embarazo como ejemplo. El nuevo método de evaluar la capacidad del dispositivo a partir de regresiones de Rasch IRT separadas para cada eje de las curvas ROC se encontró que funciona significativamente mejor, con coeficientes de correlación con métricas tradicionales de área bajo la curva de al menos 0.92 que supera a la de los gráficos ROC linealizados, como los de Linacre, y se recomienda reemplazar otros enfoques para la evaluación del dispositivo. La mejora resultante en la calidad de la medición de cada curva ROC lograda con este enfoque original debería permitir una toma de decisiones más confiable en la evaluación de la conformidad en muchos escenarios, incluido el aprendizaje automático, donde su uso como métrica para evaluar algoritmos de clasificación se ha vuelto casi indispensable.
Descripción
La justificación para realizar una medición puede buscarse preguntando en qué decisiones se basan en la medición, como en la evaluación del cumplimiento de una característica de calidad de una entidad en relación con un límite de especificación. El desempeño relativo de los dispositivos de prueba y los algoritmos de clasificación utilizados en la evaluación del cumplimiento se evalúa a menudo utilizando la venerable y siempre popular característica operativa del receptor (ROC). Sin embargo, la herramienta ROC tiene potencialmente todas las limitaciones de la teoría clásica de pruebas (CTT) como la no linealidad, efectos de ordinalidad y dificultad de tarea confusa y habilidad del instrumento. Estas limitaciones, inherentes y a menudo no reconocidas al usar la herramienta ROC, se abordan aquí por primera vez con un enfoque modernizado que combina análisis del sistema de medición (MSA) y teoría de respuesta al ítem (IRT), utilizando datos de pruebas de embarazo como ejemplo. El nuevo método de evaluar la capacidad del dispositivo a partir de regresiones de Rasch IRT separadas para cada eje de las curvas ROC se encontró que funciona significativamente mejor, con coeficientes de correlación con métricas tradicionales de área bajo la curva de al menos 0.92 que supera a la de los gráficos ROC linealizados, como los de Linacre, y se recomienda reemplazar otros enfoques para la evaluación del dispositivo. La mejora resultante en la calidad de la medición de cada curva ROC lograda con este enfoque original debería permitir una toma de decisiones más confiable en la evaluación de la conformidad en muchos escenarios, incluido el aprendizaje automático, donde su uso como métrica para evaluar algoritmos de clasificación se ha vuelto casi indispensable.