Un algoritmo novedoso de compresión de modelos de aprendizaje profundo
Autores: Zhao, Ming; Li, Meng; Peng, Sheng-Lung; Li, Jie
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Un algoritmo novedoso de compresión de modelos de aprendizaje profundo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Consumo de energía de computación de modelos grandes
Algoritmo de compresión de modelos
Método de asignación de pesos
Destilación de conocimientos
Cuantificación de pesos residuales
Método de poda que combina destilación de conocimientos y cuantificación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
Para resolver el problema del consumo de energía de cálculo de modelos grandes, este artículo propone un nuevo algoritmo de compresión de modelos. En primer lugar, este artículo propone un método de asignación de peso interpretable para la pérdida entre una red estudiantil (un modelo de red con bajo rendimiento), una red de profesor (un modelo de red con mejor rendimiento) y la etiqueta real. Luego, a diferencia de la poda y ajuste fino simples anteriores, este artículo realiza destilación de conocimiento en el modelo podado y cuantifica los pesos residuales del modelo destilado. Las operaciones anteriores pueden reducir aún más el tamaño del modelo y el costo de cálculo manteniendo la precisión del modelo. Los resultados experimentales muestran que el método de asignación de peso propuesto en este artículo puede asignar un peso relativamente apropiado a la red de profesor y a las etiquetas reales. En el conjunto de datos cifar-10, el método de poda combinado con destilación de conocimiento y cuantización puede reducir el tamaño de memoria del modelo de red resnet32 de 3726 KB a 1842 KB, y la precisión se puede mantener en 93.28%, superior al modelo original. En comparación con algoritmos de poda similares, la precisión del modelo y la velocidad de operación mejoran considerablemente.
Descripción
Para resolver el problema del consumo de energía de cálculo de modelos grandes, este artículo propone un nuevo algoritmo de compresión de modelos. En primer lugar, este artículo propone un método de asignación de peso interpretable para la pérdida entre una red estudiantil (un modelo de red con bajo rendimiento), una red de profesor (un modelo de red con mejor rendimiento) y la etiqueta real. Luego, a diferencia de la poda y ajuste fino simples anteriores, este artículo realiza destilación de conocimiento en el modelo podado y cuantifica los pesos residuales del modelo destilado. Las operaciones anteriores pueden reducir aún más el tamaño del modelo y el costo de cálculo manteniendo la precisión del modelo. Los resultados experimentales muestran que el método de asignación de peso propuesto en este artículo puede asignar un peso relativamente apropiado a la red de profesor y a las etiquetas reales. En el conjunto de datos cifar-10, el método de poda combinado con destilación de conocimiento y cuantización puede reducir el tamaño de memoria del modelo de red resnet32 de 3726 KB a 1842 KB, y la precisión se puede mantener en 93.28%, superior al modelo original. En comparación con algoritmos de poda similares, la precisión del modelo y la velocidad de operación mejoran considerablemente.