logo móvil
Contáctanos

La posibilidad de combinar e implementar métodos de compresión de redes neuronales profundas

Autores: Predi, Bratislav; Vuki, Uro; Saraevi, Muzafer; Karabaevi, Darjan; Stanujki, Dragia

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

La posibilidad de combinar e implementar métodos de compresión de redes neuronales profundas


Categoría

Matemáticas

Subcategoría

Análisis matemático

Palabras clave

Red neuronal profunda
Compresión de modelo
ResNet18
Cuantificación
Poda
Destilación

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 34

Citaciones: Sin citaciones


Descripción
En el artículo, se consideró la posibilidad de combinar métodos de compresión de modelos de redes neuronales profundas (DNN) para lograr mejores resultados de compresión. Para comparar las ventajas y desventajas de cada método, todos los métodos se aplicaron al modelo ResNet18 para el preentrenamiento en el conjunto de datos NCT-CRC-HE-100K, utilizando CRC-VAL-HE-7K como conjunto de datos de validación. En el método propuesto, se realizaron cuantificación, poda, agrupación de pesos, QAT (entrenamiento consciente de la cuantificación), QAT de preservación de clúster (en adelante PCQAT) y destilación para la compresión de ResNet18. La evaluación final de los modelos obtenidos se realizó en un dispositivo Raspberry Pi 4 utilizando el conjunto de datos de validación. El mayor resultado de compresión del modelo en disco se logró aplicando el método PCQAT, cuya aplicación llevó a una reducción en el tamaño del modelo inicial hasta en 45 veces, mientras que el mayor resultado de aceleración del modelo se logró a través de la destilación en el modelo MobileNetV2. Todos los métodos llevaron a la compresión del tamaño inicial del modelo, con una ligera pérdida en la precisión del modelo o un aumento en la precisión del modelo en el caso de QAT y agrupación de pesos. La cuantificación INT8 y la destilación de conocimientos también llevaron a una disminución significativa en el tiempo de ejecución del modelo.

Otros recursos que podrían interesarte

Temas Virtualpro