Mejorando la capacidad del modelo de redes cuantificadas con cálculo condicional
Autores: Pham, Phuoc; Chung, Jaeyong
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Mejorando la capacidad del modelo de redes cuantificadas con cálculo condicional
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Cuantización de red
Modelos profundos
Dispositivos periféricos
Computación condicional
Redes cuantizadas de baja cantidad de bits
Mecanismo de puerta de ganador-toma-todo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 52
Citaciones: Sin citaciones
La cuantización de red se convierte en un paso crucial al implementar modelos profundos en dispositivos periféricos, ya que es amigable con el hardware, ofrece ventajas de memoria y computacionales, pero también sufre de degradación de rendimiento como resultado de la capacidad limitada de representación. Abordamos este problema al introducir la computación condicional en redes cuantizadas de bajo bit. En lugar de utilizar un kernel fijo y único para cada capa, que normalmente no se generaliza bien en todos los datos de entrada, nuestro método propuesto intenta utilizar múltiples kernels paralelos dinámicamente en conjunto con el mecanismo de compuerta de ganador se lleva todo para seleccionar el mejor para propagar información. En general, nuestro método propuesto mejora el trabajo previo, sin agregar mucha sobrecarga computacional, lo que resulta en un mejor rendimiento de clasificación en los conjuntos de datos CIFAR-10 y CIFAR-100.
Descripción
La cuantización de red se convierte en un paso crucial al implementar modelos profundos en dispositivos periféricos, ya que es amigable con el hardware, ofrece ventajas de memoria y computacionales, pero también sufre de degradación de rendimiento como resultado de la capacidad limitada de representación. Abordamos este problema al introducir la computación condicional en redes cuantizadas de bajo bit. En lugar de utilizar un kernel fijo y único para cada capa, que normalmente no se generaliza bien en todos los datos de entrada, nuestro método propuesto intenta utilizar múltiples kernels paralelos dinámicamente en conjunto con el mecanismo de compuerta de ganador se lleva todo para seleccionar el mejor para propagar información. En general, nuestro método propuesto mejora el trabajo previo, sin agregar mucha sobrecarga computacional, lo que resulta en un mejor rendimiento de clasificación en los conjuntos de datos CIFAR-10 y CIFAR-100.