logo móvil
Contáctanos

Método de umbral de poda por capas basado en optimización para acelerar redes neuronales convolucionales

Autores: Ding, Yunlong; Chen, Di-Rong

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Método de umbral de poda por capas basado en optimización para acelerar redes neuronales convolucionales


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Compresión
Poda
Umbral
Optimización
Rendimiento
Red

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 35

Citaciones: Sin citaciones


Descripción
Entre varios métodos de compresión de redes, la poda de redes ha desarrollado rápidamente debido a su rendimiento superior en compresión. Sin embargo, el umbral de poda trivial limita el rendimiento de compresión de la poda. La mayoría de los métodos convencionales de umbral de poda se basan en técnicas duras o suaves conocidas que dependen de pruebas elaboradas que consumen mucho tiempo o de la experiencia en el dominio. Para mitigar estos problemas, proponemos un método de umbral de poda general simple pero efectivo desde un punto de vista de optimización. Específicamente, el problema del umbral de poda se formula como un programa de optimización restringida que minimiza el tamaño de cada capa. Más importante aún, nuestro método de umbral de poda, junto con la poda convencional, logra un mejor rendimiento en diversos escenarios de poda en muchos benchmarks avanzados. Especialmente, para el algoritmo de poda de norma - con VGG-16, nuestro método logra mayores reducciones de FLOPs sin utilizar un análisis de sensibilidad que consume mucho tiempo. La tasa de compresión aumenta del 34% al 53%, lo cual es una gran mejora. Experimentos similares con ResNet-56 revelan que, incluso para redes compactas, nuestro método logra un rendimiento de compresión competitivo incluso sin omitir ninguna capa sensible.

Otros recursos que podrían interesarte

Temas Virtualpro