La posibilidad de combinar e implementar métodos de compresión de redes neuronales profundas
Autores: Predi, Bratislav; Vuki, Uro; Saraevi, Muzafer; Karabaevi, Darjan; Stanujki, Dragia
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
La posibilidad de combinar e implementar métodos de compresión de redes neuronales profundas
Categoría
Matemáticas
Subcategoría
Análisis matemático
Palabras clave
Red neuronal profunda
Compresión de modelo
ResNet18
Cuantificación
Poda
Destilación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
En el artículo, se consideró la posibilidad de combinar métodos de compresión de modelos de redes neuronales profundas (DNN) para lograr mejores resultados de compresión. Para comparar las ventajas y desventajas de cada método, todos los métodos se aplicaron al modelo ResNet18 para el preentrenamiento en el conjunto de datos NCT-CRC-HE-100K, utilizando CRC-VAL-HE-7K como conjunto de datos de validación. En el método propuesto, se realizaron cuantificación, poda, agrupación de pesos, QAT (entrenamiento consciente de la cuantificación), QAT de preservación de clúster (en adelante PCQAT) y destilación para la compresión de ResNet18. La evaluación final de los modelos obtenidos se realizó en un dispositivo Raspberry Pi 4 utilizando el conjunto de datos de validación. El mayor resultado de compresión del modelo en disco se logró aplicando el método PCQAT, cuya aplicación llevó a una reducción en el tamaño del modelo inicial hasta en 45 veces, mientras que el mayor resultado de aceleración del modelo se logró a través de la destilación en el modelo MobileNetV2. Todos los métodos llevaron a la compresión del tamaño inicial del modelo, con una ligera pérdida en la precisión del modelo o un aumento en la precisión del modelo en el caso de QAT y agrupación de pesos. La cuantificación INT8 y la destilación de conocimientos también llevaron a una disminución significativa en el tiempo de ejecución del modelo.
Descripción
En el artículo, se consideró la posibilidad de combinar métodos de compresión de modelos de redes neuronales profundas (DNN) para lograr mejores resultados de compresión. Para comparar las ventajas y desventajas de cada método, todos los métodos se aplicaron al modelo ResNet18 para el preentrenamiento en el conjunto de datos NCT-CRC-HE-100K, utilizando CRC-VAL-HE-7K como conjunto de datos de validación. En el método propuesto, se realizaron cuantificación, poda, agrupación de pesos, QAT (entrenamiento consciente de la cuantificación), QAT de preservación de clúster (en adelante PCQAT) y destilación para la compresión de ResNet18. La evaluación final de los modelos obtenidos se realizó en un dispositivo Raspberry Pi 4 utilizando el conjunto de datos de validación. El mayor resultado de compresión del modelo en disco se logró aplicando el método PCQAT, cuya aplicación llevó a una reducción en el tamaño del modelo inicial hasta en 45 veces, mientras que el mayor resultado de aceleración del modelo se logró a través de la destilación en el modelo MobileNetV2. Todos los métodos llevaron a la compresión del tamaño inicial del modelo, con una ligera pérdida en la precisión del modelo o un aumento en la precisión del modelo en el caso de QAT y agrupación de pesos. La cuantificación INT8 y la destilación de conocimientos también llevaron a una disminución significativa en el tiempo de ejecución del modelo.