Aprendiendo activación paramétrica de recorte bilateral para redes neuronales de bajo bit
Autores: Ding, Yunlong; Chen, Di-Rong
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Aprendiendo activación paramétrica de recorte bilateral para redes neuronales de bajo bit
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Varias
Métodos de compresión de red
Cuantización de red
Esquemas de cuantización de activación
Funciones de activación rectificadas
Unidad lineal rectificada paramétrica de recorte bilateral
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
Entre varios métodos de compresión de red, la cuantización de red ha desarrollado rápidamente debido a su rendimiento superior en compresión. Sin embargo, los esquemas triviales de cuantización de activación limitan el rendimiento de compresión de la cuantización de red. La mayoría de los métodos convencionales de cuantización de activación utilizan directamente las funciones de activación rectificadas para cuantificar modelos, sin embargo, sus salidas ilimitadas generalmente producen una degradación drástica de la precisión. Para abordar este problema, proponemos una técnica de cuantización de activación integral, a saber, la Unidad Lineal Rectificada Paramétrica de Recorte Bilateral (BCPReLU) como una versión generalizada de todas las funciones de activación rectificadas, que limita el rango de cuantización de manera más flexible durante el entrenamiento. Específicamente, se introducen pendientes y umbrales entrenables para tanto las entradas positivas como negativas para encontrar escalas de cuantización más flexibles. Demostramos teóricamente que BCPReLU tiene aproximadamente el mismo poder expresivo que la versión ilimitada correspondiente y establecemos su convergencia en redes de cuantización de bajo bit. Experimentos extensos en una variedad de conjuntos de datos y arquitecturas de red demuestran la efectividad de nuestra función de activación de recorte entrenable.
Descripción
Entre varios métodos de compresión de red, la cuantización de red ha desarrollado rápidamente debido a su rendimiento superior en compresión. Sin embargo, los esquemas triviales de cuantización de activación limitan el rendimiento de compresión de la cuantización de red. La mayoría de los métodos convencionales de cuantización de activación utilizan directamente las funciones de activación rectificadas para cuantificar modelos, sin embargo, sus salidas ilimitadas generalmente producen una degradación drástica de la precisión. Para abordar este problema, proponemos una técnica de cuantización de activación integral, a saber, la Unidad Lineal Rectificada Paramétrica de Recorte Bilateral (BCPReLU) como una versión generalizada de todas las funciones de activación rectificadas, que limita el rango de cuantización de manera más flexible durante el entrenamiento. Específicamente, se introducen pendientes y umbrales entrenables para tanto las entradas positivas como negativas para encontrar escalas de cuantización más flexibles. Demostramos teóricamente que BCPReLU tiene aproximadamente el mismo poder expresivo que la versión ilimitada correspondiente y establecemos su convergencia en redes de cuantización de bajo bit. Experimentos extensos en una variedad de conjuntos de datos y arquitecturas de red demuestran la efectividad de nuestra función de activación de recorte entrenable.