logo móvil
Contáctanos

Eficiente y controlable compresión de modelos a través de destilación secuencial de conocimiento y poda

Autores: Malihi, Leila; Heidemann, Gunther

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Eficiente y controlable compresión de modelos a través de destilación secuencial de conocimiento y poda


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Sistemas

Palabras clave

Eficiente
Implementación de modelos
Aprendizaje profundo
Destilación de conocimiento
Poda de redes
Compresión de modelos

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 44

Citaciones: Sin citaciones


Descripción
La implementación eficiente de modelos es un enfoque clave en el aprendizaje profundo. Esto ha llevado a la exploración de métodos como la destilación del conocimiento y la poda de redes para comprimir modelos y aumentar su rendimiento. En este estudio, investigamos la posible sinergia entre la destilación del conocimiento y la poda de redes para lograr eficiencia óptima del modelo y una mejor generalización. Introducimos un marco innovador para la compresión de modelos que combina destilación del conocimiento, poda y ajuste fino para lograr una compresión mejorada y proporcionar control sobre el grado de compacidad. Nuestra investigación se realiza en conjuntos de datos populares, CIFAR-10 y CIFAR-100, empleando diversas arquitecturas de modelos, incluyendo ResNet, DenseNet y EfficientNet. Pudimos calibrar la cantidad de compresión lograda. Esto nos permite producir modelos con diferentes grados de compresión manteniendo la misma precisión, o incluso mejorándola. Destacamos su eficacia al producir dos variantes comprimidas de ResNet 101: ResNet 50 y ResNet 18. Nuestros resultados revelan hallazgos intrigantes. En la mayoría de los casos, los modelos estudiantes podados y destilados exhiben una precisión comparable o superior a los modelos estudiantes destilados mientras utilizan significativamente menos parámetros.

Otros recursos que podrían interesarte

Temas Virtualpro