logo móvil
Contáctanos

Combine-Net: Un algoritmo mejorado de poda de filtros

Autores: Wang, Jinghan; Li, Guangyue; Zhang, Wenzhao

Idioma: Inglés

Editor: MDPI

Año: 2021

Descargar PDF

Acceso abierto

Artículo científico
2021

Combine-Net: Un algoritmo mejorado de poda de filtros


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Aprendizaje profundo
Redes neuronales
Algoritmos de compresión de modelos
Poda estructurada de modelos
Combine-Net
Compresión de parámetros

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
El poderoso rendimiento del aprendizaje profundo es evidente para todos. Con el profundizamiento de la investigación, las redes neuronales se han vuelto más complejas y no se generalizan fácilmente a dispositivos con recursos limitados. La aparición de una serie de algoritmos de compresión de modelos hace posible la inteligencia artificial en el borde. Entre ellos, la poda de modelos estructurados se utiliza ampliamente debido a su versatilidad. La poda estructurada poda la red neuronal en sí y descarta algunas estructuras relativamente poco importantes para comprimir el tamaño del modelo. Sin embargo, en el trabajo de poda anterior, persisten problemas como errores de evaluación de redes, determinación empírica de la tasa de poda y baja eficiencia de reentrenamiento. Por lo tanto, proponemos un algoritmo de poda preciso, objetivo y eficiente: Combine-Net, introduciendo BN Adaptativo para eliminar errores de evaluación, el algoritmo Kneedle para determinar la tasa de poda de manera objetiva y la destilación de conocimiento para mejorar la eficiencia del reentrenamiento. Los resultados muestran que, sin pérdida de precisión, Combine-Net logra un 95% de compresión de parámetros y un 83% de compresión de computación en VGG16 en CIFAR10, un 71% de compresión de parámetros y un 41% de compresión de computación en ResNet50 en CIFAR100. Experimentos en diferentes conjuntos de datos y modelos han demostrado que Combine-Net puede comprimir de manera eficiente los parámetros y la computación de la red neuronal.

Otros recursos que podrían interesarte

Temas Virtualpro