Búsqueda híbrida rápida para compresión automática de modelos
Autores: Li, Guilin; Tang, Lang; Zheng, Xiawu
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Búsqueda híbrida rápida para compresión automática de modelos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Poda de redes neuronales
Compresión de modelos
Aceleración
Algoritmo de poda
Filtros
Método de búsqueda híbrido
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
La poda de redes neuronales ha sido ampliamente estudiada para la compresión y aceleración de modelos, para facilitar la implementación de modelos en escenarios con recursos limitados. Los métodos convencionales requieren conocimientos de dominio para diseñar manualmente la arquitectura del modelo podado y el algoritmo de poda, o métodos basados en AutoML para buscar la arquitectura del modelo podado pero aún podan todas las capas con un solo algoritmo de poda. Sin embargo, se han propuesto muchos algoritmos de poda y todos difieren en la importancia que atribuyen al criterio de los filtros. Por lo tanto, proponemos un método de búsqueda híbrido, que busca la arquitectura del modelo podado y el algoritmo de poda al mismo tiempo, que encuentra automáticamente la proporción de poda y el algoritmo de poda para cada capa de convolución. Además, para ser más eficientes, dividimos el proceso de búsqueda en dos fases. En primer lugar, buscamos en un espacio enorme con normalización por lotes adaptativa, que es un método de evaluación de modelos rápido pero relativamente impreciso; en segundo lugar, buscamos en base a los resultados anteriores y evaluamos los modelos mediante el ajuste fino, que es más preciso. Por lo tanto, nuestro método de búsqueda híbrido propuesto es eficiente y logra una clara mejora en el rendimiento en comparación con los métodos actuales de vanguardia, incluyendo AMC, MetaPruning y ABCPruner. Por ejemplo, al podar MobileNet, logramos una precisión de prueba en ImageNet con solo 49 M FLOPs, que es mayor que MetaPruning.
Descripción
La poda de redes neuronales ha sido ampliamente estudiada para la compresión y aceleración de modelos, para facilitar la implementación de modelos en escenarios con recursos limitados. Los métodos convencionales requieren conocimientos de dominio para diseñar manualmente la arquitectura del modelo podado y el algoritmo de poda, o métodos basados en AutoML para buscar la arquitectura del modelo podado pero aún podan todas las capas con un solo algoritmo de poda. Sin embargo, se han propuesto muchos algoritmos de poda y todos difieren en la importancia que atribuyen al criterio de los filtros. Por lo tanto, proponemos un método de búsqueda híbrido, que busca la arquitectura del modelo podado y el algoritmo de poda al mismo tiempo, que encuentra automáticamente la proporción de poda y el algoritmo de poda para cada capa de convolución. Además, para ser más eficientes, dividimos el proceso de búsqueda en dos fases. En primer lugar, buscamos en un espacio enorme con normalización por lotes adaptativa, que es un método de evaluación de modelos rápido pero relativamente impreciso; en segundo lugar, buscamos en base a los resultados anteriores y evaluamos los modelos mediante el ajuste fino, que es más preciso. Por lo tanto, nuestro método de búsqueda híbrido propuesto es eficiente y logra una clara mejora en el rendimiento en comparación con los métodos actuales de vanguardia, incluyendo AMC, MetaPruning y ABCPruner. Por ejemplo, al podar MobileNet, logramos una precisión de prueba en ImageNet con solo 49 M FLOPs, que es mayor que MetaPruning.