logo móvil
Contáctanos

Aprendiendo activación paramétrica de recorte bilateral para redes neuronales de bajo bit

Autores: Ding, Yunlong; Chen, Di-Rong

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Aprendiendo activación paramétrica de recorte bilateral para redes neuronales de bajo bit


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Varias
Métodos de compresión de red
Cuantización de red
Esquemas de cuantización de activación
Funciones de activación rectificadas
Unidad lineal rectificada paramétrica de recorte bilateral

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 28

Citaciones: Sin citaciones


Descripción
Entre varios métodos de compresión de red, la cuantización de red ha desarrollado rápidamente debido a su rendimiento superior en compresión. Sin embargo, los esquemas triviales de cuantización de activación limitan el rendimiento de compresión de la cuantización de red. La mayoría de los métodos convencionales de cuantización de activación utilizan directamente las funciones de activación rectificadas para cuantificar modelos, sin embargo, sus salidas ilimitadas generalmente producen una degradación drástica de la precisión. Para abordar este problema, proponemos una técnica de cuantización de activación integral, a saber, la Unidad Lineal Rectificada Paramétrica de Recorte Bilateral (BCPReLU) como una versión generalizada de todas las funciones de activación rectificadas, que limita el rango de cuantización de manera más flexible durante el entrenamiento. Específicamente, se introducen pendientes y umbrales entrenables para tanto las entradas positivas como negativas para encontrar escalas de cuantización más flexibles. Demostramos teóricamente que BCPReLU tiene aproximadamente el mismo poder expresivo que la versión ilimitada correspondiente y establecemos su convergencia en redes de cuantización de bajo bit. Experimentos extensos en una variedad de conjuntos de datos y arquitecturas de red demuestran la efectividad de nuestra función de activación de recorte entrenable.

Otros recursos que podrían interesarte

Temas Virtualpro