logo móvil
Contáctanos

Búsqueda híbrida rápida para compresión automática de modelos

Autores: Li, Guilin; Tang, Lang; Zheng, Xiawu

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Búsqueda híbrida rápida para compresión automática de modelos


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Poda de redes neuronales
Compresión de modelos
Aceleración
Algoritmo de poda
Filtros
Método de búsqueda híbrido

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 31

Citaciones: Sin citaciones


Descripción
La poda de redes neuronales ha sido ampliamente estudiada para la compresión y aceleración de modelos, para facilitar la implementación de modelos en escenarios con recursos limitados. Los métodos convencionales requieren conocimientos de dominio para diseñar manualmente la arquitectura del modelo podado y el algoritmo de poda, o métodos basados en AutoML para buscar la arquitectura del modelo podado pero aún podan todas las capas con un solo algoritmo de poda. Sin embargo, se han propuesto muchos algoritmos de poda y todos difieren en la importancia que atribuyen al criterio de los filtros. Por lo tanto, proponemos un método de búsqueda híbrido, que busca la arquitectura del modelo podado y el algoritmo de poda al mismo tiempo, que encuentra automáticamente la proporción de poda y el algoritmo de poda para cada capa de convolución. Además, para ser más eficientes, dividimos el proceso de búsqueda en dos fases. En primer lugar, buscamos en un espacio enorme con normalización por lotes adaptativa, que es un método de evaluación de modelos rápido pero relativamente impreciso; en segundo lugar, buscamos en base a los resultados anteriores y evaluamos los modelos mediante el ajuste fino, que es más preciso. Por lo tanto, nuestro método de búsqueda híbrido propuesto es eficiente y logra una clara mejora en el rendimiento en comparación con los métodos actuales de vanguardia, incluyendo AMC, MetaPruning y ABCPruner. Por ejemplo, al podar MobileNet, logramos una precisión de prueba en ImageNet con solo 49 M FLOPs, que es mayor que MetaPruning.

Otros recursos que podrían interesarte

Temas Virtualpro