Sp2PS: Puntuación de Poda mediante Evaluación Espectral y Espacial de Imágenes CAM
Autores: Renza, Diego; Ballesteros, Dora
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Sp2PS: Puntuación de Poda mediante Evaluación Espectral y Espacial de Imágenes CAM
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Modelos
Parámetros
Poda
Tiempos de inferencia
Huellas de memoria
Rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los modelos de CNN pueden tener millones de parámetros, lo que los hace poco atractivos para algunas aplicaciones que requieren tiempos de inferencia rápidos o pequeñas huellas de memoria. Para superar este problema, una alternativa es identificar y eliminar pesos que tienen un pequeño impacto en la función de pérdida del algoritmo, lo que se conoce como poda. Típicamente, los métodos de poda se comparan en términos de rendimiento (por ejemplo, precisión), tamaño del modelo y velocidad de inferencia. Sin embargo, es inusual evaluar si un modelo podado preserva regiones de importancia en una imagen al realizar la inferencia. En consecuencia, proponemos una métrica para evaluar el impacto de un método de poda basado en imágenes obtenidas por la interpretación del modelo (específicamente, mapas de activación de clase). Estas imágenes se comparan e integran espacial y espectralmente mediante la media armónica para todas las muestras en el conjunto de datos de prueba. Los resultados muestran que, aunque la precisión en un modelo podado puede permanecer relativamente constante, las áreas de atención para la toma de decisiones no se preservan necesariamente. Además, el rendimiento de los métodos de poda se puede comparar fácilmente en función de la métrica propuesta.
Descripción
Los modelos de CNN pueden tener millones de parámetros, lo que los hace poco atractivos para algunas aplicaciones que requieren tiempos de inferencia rápidos o pequeñas huellas de memoria. Para superar este problema, una alternativa es identificar y eliminar pesos que tienen un pequeño impacto en la función de pérdida del algoritmo, lo que se conoce como poda. Típicamente, los métodos de poda se comparan en términos de rendimiento (por ejemplo, precisión), tamaño del modelo y velocidad de inferencia. Sin embargo, es inusual evaluar si un modelo podado preserva regiones de importancia en una imagen al realizar la inferencia. En consecuencia, proponemos una métrica para evaluar el impacto de un método de poda basado en imágenes obtenidas por la interpretación del modelo (específicamente, mapas de activación de clase). Estas imágenes se comparan e integran espacial y espectralmente mediante la media armónica para todas las muestras en el conjunto de datos de prueba. Los resultados muestran que, aunque la precisión en un modelo podado puede permanecer relativamente constante, las áreas de atención para la toma de decisiones no se preservan necesariamente. Además, el rendimiento de los métodos de poda se puede comparar fácilmente en función de la métrica propuesta.