Combine-Net: Un algoritmo mejorado de poda de filtros
Autores: Wang, Jinghan; Li, Guangyue; Zhang, Wenzhao
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Combine-Net: Un algoritmo mejorado de poda de filtros
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Aprendizaje profundo
Redes neuronales
Algoritmos de compresión de modelos
Poda estructurada de modelos
Combine-Net
Compresión de parámetros
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El poderoso rendimiento del aprendizaje profundo es evidente para todos. Con el profundizamiento de la investigación, las redes neuronales se han vuelto más complejas y no se generalizan fácilmente a dispositivos con recursos limitados. La aparición de una serie de algoritmos de compresión de modelos hace posible la inteligencia artificial en el borde. Entre ellos, la poda de modelos estructurados se utiliza ampliamente debido a su versatilidad. La poda estructurada poda la red neuronal en sí y descarta algunas estructuras relativamente poco importantes para comprimir el tamaño del modelo. Sin embargo, en el trabajo de poda anterior, persisten problemas como errores de evaluación de redes, determinación empírica de la tasa de poda y baja eficiencia de reentrenamiento. Por lo tanto, proponemos un algoritmo de poda preciso, objetivo y eficiente: Combine-Net, introduciendo BN Adaptativo para eliminar errores de evaluación, el algoritmo Kneedle para determinar la tasa de poda de manera objetiva y la destilación de conocimiento para mejorar la eficiencia del reentrenamiento. Los resultados muestran que, sin pérdida de precisión, Combine-Net logra un 95% de compresión de parámetros y un 83% de compresión de computación en VGG16 en CIFAR10, un 71% de compresión de parámetros y un 41% de compresión de computación en ResNet50 en CIFAR100. Experimentos en diferentes conjuntos de datos y modelos han demostrado que Combine-Net puede comprimir de manera eficiente los parámetros y la computación de la red neuronal.
Descripción
El poderoso rendimiento del aprendizaje profundo es evidente para todos. Con el profundizamiento de la investigación, las redes neuronales se han vuelto más complejas y no se generalizan fácilmente a dispositivos con recursos limitados. La aparición de una serie de algoritmos de compresión de modelos hace posible la inteligencia artificial en el borde. Entre ellos, la poda de modelos estructurados se utiliza ampliamente debido a su versatilidad. La poda estructurada poda la red neuronal en sí y descarta algunas estructuras relativamente poco importantes para comprimir el tamaño del modelo. Sin embargo, en el trabajo de poda anterior, persisten problemas como errores de evaluación de redes, determinación empírica de la tasa de poda y baja eficiencia de reentrenamiento. Por lo tanto, proponemos un algoritmo de poda preciso, objetivo y eficiente: Combine-Net, introduciendo BN Adaptativo para eliminar errores de evaluación, el algoritmo Kneedle para determinar la tasa de poda de manera objetiva y la destilación de conocimiento para mejorar la eficiencia del reentrenamiento. Los resultados muestran que, sin pérdida de precisión, Combine-Net logra un 95% de compresión de parámetros y un 83% de compresión de computación en VGG16 en CIFAR10, un 71% de compresión de parámetros y un 41% de compresión de computación en ResNet50 en CIFAR100. Experimentos en diferentes conjuntos de datos y modelos han demostrado que Combine-Net puede comprimir de manera eficiente los parámetros y la computación de la red neuronal.