logo móvil
Contáctanos

Evaluando la calidad de las explicaciones de aprendizaje automático: una encuesta sobre métodos y métricas

Autores: Zhou, Jianlong; Gandomi, Amir H.; Chen, Fang; Holzinger, Andreas

Idioma: Inglés

Editor: MDPI

Año: 2021

Descargar PDF

Acceso abierto

Artículo científico
2021

Evaluando la calidad de las explicaciones de aprendizaje automático: una encuesta sobre métodos y métricas


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Aprendizaje automático
Métodos de explicación
Métricas de evaluación
Transparencia
Interpretabilidad
Sistemas explicables

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 41

Citaciones: Sin citaciones


Descripción
Los sistemas de Aprendizaje Automático (ML) más exitosos siguen siendo cajas negras complejas para los usuarios finales, e incluso los expertos a menudo no pueden comprender la razón detrás de sus decisiones. La falta de transparencia de tales sistemas puede tener consecuencias graves o usos incorrectos de recursos valiosos limitados en el diagnóstico médico, la toma de decisiones financieras y en otros dominios de alto riesgo. Por lo tanto, el tema de la explicación de ML ha experimentado un aumento en el interés de la comunidad investigadora en los dominios de aplicación. Aunque se han explorado numerosos métodos de explicación, hay una necesidad de evaluaciones para cuantificar la calidad de los métodos de explicación para determinar si y en qué medida la explicabilidad ofrecida logra el objetivo definido, y comparar los métodos de explicación disponibles y sugerir la mejor explicación a partir de la comparación para una tarea específica. Este documento de encuesta presenta una visión general completa de los métodos propuestos en la literatura actual para la evaluación de explicaciones de ML. Identificamos propiedades de explicabilidad a partir de la revisión de definiciones de explicabilidad. Las propiedades identificadas de explicabilidad se utilizan como objetivos que las métricas de evaluación deben lograr. La encuesta encontró que las métricas cuantitativas tanto para explicaciones basadas en modelos como para explicaciones basadas en ejemplos se utilizan principalmente para evaluar la parsimonia/sencillez de la interpretabilidad, mientras que las métricas cuantitativas para explicaciones basadas en atribuciones se utilizan principalmente para evaluar la solidez de la fidelidad de la explicabilidad. La encuesta también demostró que medidas subjetivas, como la confianza, han sido abrazadas como el punto focal para la evaluación centrada en el ser humano de sistemas explicables. El documento concluye que la evaluación de las explicaciones de ML es un tema de investigación multidisciplinario. También no es posible definir una implementación de métricas de evaluación que se puedan aplicar a todos los métodos de explicación.

Otros recursos que podrían interesarte

Temas Virtualpro