Un método de poda basado en la puntuación de similitud de mapas de características
Autores: Cui, Jihua; Wang, Zhenbang; Yang, Ziheng; Guan, Xin
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un método de poda basado en la puntuación de similitud de mapas de características
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Modelos de aprendizaje profundo
Parámetros
Cálculo
Poda
Puntuación de similitud de mapas de características
ResNet-56
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 46
Citaciones: Sin citaciones
A medida que aumenta el número de capas de modelos de aprendizaje profundo, también lo hace el número de parámetros y cálculos, lo que dificulta su implementación en dispositivos de borde. La poda tiene el potencial de reducir significativamente el número de parámetros y cálculos en un modelo de aprendizaje profundo. Los métodos de poda existentes a menudo requieren una distribución específica de parámetros de red para lograr buenos resultados al medir la importancia del filtro. Como resultado, se propone un método de poda basado en la puntuación de similitud de mapas de características. Calculamos la puntuación de similitud de cada mapa de características para medir la importancia del filtro y guiar la poda del filtro utilizando la similitud entre los mapas de características de salida del filtro para medir la redundancia del filtro correspondiente. Experimentos de poda en las redes ResNet-56 y ResNet-110 en conjuntos de datos Cifar-10 pueden comprimir el modelo en más del 70% manteniendo una mayor relación de compresión y precisión que los métodos tradicionales.
Descripción
A medida que aumenta el número de capas de modelos de aprendizaje profundo, también lo hace el número de parámetros y cálculos, lo que dificulta su implementación en dispositivos de borde. La poda tiene el potencial de reducir significativamente el número de parámetros y cálculos en un modelo de aprendizaje profundo. Los métodos de poda existentes a menudo requieren una distribución específica de parámetros de red para lograr buenos resultados al medir la importancia del filtro. Como resultado, se propone un método de poda basado en la puntuación de similitud de mapas de características. Calculamos la puntuación de similitud de cada mapa de características para medir la importancia del filtro y guiar la poda del filtro utilizando la similitud entre los mapas de características de salida del filtro para medir la redundancia del filtro correspondiente. Experimentos de poda en las redes ResNet-56 y ResNet-110 en conjuntos de datos Cifar-10 pueden comprimir el modelo en más del 70% manteniendo una mayor relación de compresión y precisión que los métodos tradicionales.