¿Es confiable mi modelo podado? PE-Score: una nueva métrica de evaluación basada en CAM
Autores: Pachon, Cesar G.; Renza, Diego; Ballesteros, Dora
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
¿Es confiable mi modelo podado? PE-Score: una nueva métrica de evaluación basada en CAM
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Estrategias
Comprimir
Modelos de CNN
Poda
Rendimiento
Puntuación de eficiencia
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 45
Citaciones: Sin citaciones
Una de las estrategias adoptadas para comprimir modelos CNN para tareas de clasificación de imágenes es la poda, donde se descartan algunos elementos, canales o filtros de la red. Típicamente, los métodos de poda presentan resultados en términos del rendimiento del modelo antes y después de la poda (evaluado por precisión o un parámetro relacionado como el puntaje F1), asumiendo que si la diferencia es menor a cierto valor (por ejemplo, 2%), el modelo podado es confiable. Sin embargo, los modelos de vanguardia no se preocupan por medir el impacto real de la poda en la red al evaluar los píxeles utilizados por el modelo para tomar la decisión, o la confianza de la clase en sí misma. En consecuencia, este documento presenta una nueva métrica, denominada Puntuación de Eficiencia de Poda (PE-score), que nos permite identificar si un modelo podado preserva el comportamiento (es decir, los patrones extraídos) del modelo no podado, a través de la visualización e interpretación con métodos basados en CAM. Con la métrica propuesta, será posible comparar mejor los métodos de poda para modelos de clasificación de imágenes basados en CNN, así como verificar si el modelo podado es eficiente al centrarse en los mismos patrones (píxeles) que los del modelo original, incluso si ha reducido el número de parámetros y FLOPs.
Descripción
Una de las estrategias adoptadas para comprimir modelos CNN para tareas de clasificación de imágenes es la poda, donde se descartan algunos elementos, canales o filtros de la red. Típicamente, los métodos de poda presentan resultados en términos del rendimiento del modelo antes y después de la poda (evaluado por precisión o un parámetro relacionado como el puntaje F1), asumiendo que si la diferencia es menor a cierto valor (por ejemplo, 2%), el modelo podado es confiable. Sin embargo, los modelos de vanguardia no se preocupan por medir el impacto real de la poda en la red al evaluar los píxeles utilizados por el modelo para tomar la decisión, o la confianza de la clase en sí misma. En consecuencia, este documento presenta una nueva métrica, denominada Puntuación de Eficiencia de Poda (PE-score), que nos permite identificar si un modelo podado preserva el comportamiento (es decir, los patrones extraídos) del modelo no podado, a través de la visualización e interpretación con métodos basados en CAM. Con la métrica propuesta, será posible comparar mejor los métodos de poda para modelos de clasificación de imágenes basados en CNN, así como verificar si el modelo podado es eficiente al centrarse en los mismos patrones (píxeles) que los del modelo original, incluso si ha reducido el número de parámetros y FLOPs.