Algoritmo de compresión de modelos mediante aprendizaje por refuerzo y destilación de conocimiento
Autores: Liu, Botao; Hu, Bing-Bing; Zhao, Ming; Peng, Sheng-Lung; Chang, Jou-Ming
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Algoritmo de compresión de modelos mediante aprendizaje por refuerzo y destilación de conocimiento
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Compresión de modelos tradicional
Aprendizaje por refuerzo
Poda automatizada
Destilación de conocimiento
Mecanismo de atención
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
Las técnicas tradicionales de compresión de modelos dependen de características elaboradas a mano y requieren expertos en el dominio, con un equilibrio entre el tamaño del modelo, la velocidad y la precisión. Este estudio propone un nuevo enfoque para resolver problemas de compresión de modelos. Nuestro enfoque combina el podado automatizado basado en aprendizaje por refuerzo y la destilación de conocimientos para mejorar el podado de capas de red no importantes y la eficiencia del proceso de compresión. Introducimos una nueva cantidad de estado que controla el tamaño de la recompensa y un mecanismo de atención que refuerza las características útiles y atenúa las características inútiles para mejorar los efectos de otras características. Los resultados experimentales muestran que el modelo propuesto es superior a otros métodos avanzados de podado en términos de tiempo de cálculo y precisión en el conjunto de datos CIFAR-100 e ImageNet, donde la precisión es aproximadamente un 3% más alta que la de métodos similares con tiempos de cálculo más cortos.
Descripción
Las técnicas tradicionales de compresión de modelos dependen de características elaboradas a mano y requieren expertos en el dominio, con un equilibrio entre el tamaño del modelo, la velocidad y la precisión. Este estudio propone un nuevo enfoque para resolver problemas de compresión de modelos. Nuestro enfoque combina el podado automatizado basado en aprendizaje por refuerzo y la destilación de conocimientos para mejorar el podado de capas de red no importantes y la eficiencia del proceso de compresión. Introducimos una nueva cantidad de estado que controla el tamaño de la recompensa y un mecanismo de atención que refuerza las características útiles y atenúa las características inútiles para mejorar los efectos de otras características. Los resultados experimentales muestran que el modelo propuesto es superior a otros métodos avanzados de podado en términos de tiempo de cálculo y precisión en el conjunto de datos CIFAR-100 e ImageNet, donde la precisión es aproximadamente un 3% más alta que la de métodos similares con tiempos de cálculo más cortos.