logo móvil
Contáctanos

Un algoritmo novedoso de compresión de modelos de aprendizaje profundo

Autores: Zhao, Ming; Li, Meng; Peng, Sheng-Lung; Li, Jie

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

Un algoritmo novedoso de compresión de modelos de aprendizaje profundo


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Consumo de energía de computación de modelos grandes
Algoritmo de compresión de modelos
Método de asignación de pesos
Destilación de conocimientos
Cuantificación de pesos residuales
Método de poda que combina destilación de conocimientos y cuantificación

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 39

Citaciones: Sin citaciones


Descripción
Para resolver el problema del consumo de energía de cálculo de modelos grandes, este artículo propone un nuevo algoritmo de compresión de modelos. En primer lugar, este artículo propone un método de asignación de peso interpretable para la pérdida entre una red estudiantil (un modelo de red con bajo rendimiento), una red de profesor (un modelo de red con mejor rendimiento) y la etiqueta real. Luego, a diferencia de la poda y ajuste fino simples anteriores, este artículo realiza destilación de conocimiento en el modelo podado y cuantifica los pesos residuales del modelo destilado. Las operaciones anteriores pueden reducir aún más el tamaño del modelo y el costo de cálculo manteniendo la precisión del modelo. Los resultados experimentales muestran que el método de asignación de peso propuesto en este artículo puede asignar un peso relativamente apropiado a la red de profesor y a las etiquetas reales. En el conjunto de datos cifar-10, el método de poda combinado con destilación de conocimiento y cuantización puede reducir el tamaño de memoria del modelo de red resnet32 de 3726 KB a 1842 KB, y la precisión se puede mantener en 93.28%, superior al modelo original. En comparación con algoritmos de poda similares, la precisión del modelo y la velocidad de operación mejoran considerablemente.

Otros recursos que podrían interesarte

Temas Virtualpro