Eficiente y controlable compresión de modelos a través de destilación secuencial de conocimiento y poda
Autores: Malihi, Leila; Heidemann, Gunther
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Eficiente y controlable compresión de modelos a través de destilación secuencial de conocimiento y poda
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Eficiente
Implementación de modelos
Aprendizaje profundo
Destilación de conocimiento
Poda de redes
Compresión de modelos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 44
Citaciones: Sin citaciones
La implementación eficiente de modelos es un enfoque clave en el aprendizaje profundo. Esto ha llevado a la exploración de métodos como la destilación del conocimiento y la poda de redes para comprimir modelos y aumentar su rendimiento. En este estudio, investigamos la posible sinergia entre la destilación del conocimiento y la poda de redes para lograr eficiencia óptima del modelo y una mejor generalización. Introducimos un marco innovador para la compresión de modelos que combina destilación del conocimiento, poda y ajuste fino para lograr una compresión mejorada y proporcionar control sobre el grado de compacidad. Nuestra investigación se realiza en conjuntos de datos populares, CIFAR-10 y CIFAR-100, empleando diversas arquitecturas de modelos, incluyendo ResNet, DenseNet y EfficientNet. Pudimos calibrar la cantidad de compresión lograda. Esto nos permite producir modelos con diferentes grados de compresión manteniendo la misma precisión, o incluso mejorándola. Destacamos su eficacia al producir dos variantes comprimidas de ResNet 101: ResNet 50 y ResNet 18. Nuestros resultados revelan hallazgos intrigantes. En la mayoría de los casos, los modelos estudiantes podados y destilados exhiben una precisión comparable o superior a los modelos estudiantes destilados mientras utilizan significativamente menos parámetros.
Descripción
La implementación eficiente de modelos es un enfoque clave en el aprendizaje profundo. Esto ha llevado a la exploración de métodos como la destilación del conocimiento y la poda de redes para comprimir modelos y aumentar su rendimiento. En este estudio, investigamos la posible sinergia entre la destilación del conocimiento y la poda de redes para lograr eficiencia óptima del modelo y una mejor generalización. Introducimos un marco innovador para la compresión de modelos que combina destilación del conocimiento, poda y ajuste fino para lograr una compresión mejorada y proporcionar control sobre el grado de compacidad. Nuestra investigación se realiza en conjuntos de datos populares, CIFAR-10 y CIFAR-100, empleando diversas arquitecturas de modelos, incluyendo ResNet, DenseNet y EfficientNet. Pudimos calibrar la cantidad de compresión lograda. Esto nos permite producir modelos con diferentes grados de compresión manteniendo la misma precisión, o incluso mejorándola. Destacamos su eficacia al producir dos variantes comprimidas de ResNet 101: ResNet 50 y ResNet 18. Nuestros resultados revelan hallazgos intrigantes. En la mayoría de los casos, los modelos estudiantes podados y destilados exhiben una precisión comparable o superior a los modelos estudiantes destilados mientras utilizan significativamente menos parámetros.