logo móvil
Contáctanos

Algoritmo de compresión de modelos mediante aprendizaje por refuerzo y destilación de conocimiento

Autores: Liu, Botao; Hu, Bing-Bing; Zhao, Ming; Peng, Sheng-Lung; Chang, Jou-Ming

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Algoritmo de compresión de modelos mediante aprendizaje por refuerzo y destilación de conocimiento


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Compresión de modelos tradicional
Aprendizaje por refuerzo
Poda automatizada
Destilación de conocimiento
Mecanismo de atención

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 33

Citaciones: Sin citaciones


Descripción
Las técnicas tradicionales de compresión de modelos dependen de características elaboradas a mano y requieren expertos en el dominio, con un equilibrio entre el tamaño del modelo, la velocidad y la precisión. Este estudio propone un nuevo enfoque para resolver problemas de compresión de modelos. Nuestro enfoque combina el podado automatizado basado en aprendizaje por refuerzo y la destilación de conocimientos para mejorar el podado de capas de red no importantes y la eficiencia del proceso de compresión. Introducimos una nueva cantidad de estado que controla el tamaño de la recompensa y un mecanismo de atención que refuerza las características útiles y atenúa las características inútiles para mejorar los efectos de otras características. Los resultados experimentales muestran que el modelo propuesto es superior a otros métodos avanzados de podado en términos de tiempo de cálculo y precisión en el conjunto de datos CIFAR-100 e ImageNet, donde la precisión es aproximadamente un 3% más alta que la de métodos similares con tiempos de cálculo más cortos.

Otros recursos que podrían interesarte

Temas Virtualpro