logo móvil
Contáctanos

Bonito: estimación de inyección de ruido y sujeción para la cuantización de redes neuronales

Autores: Baskin, Chaim; Zheltonozhkii, Evgenii; Rozen, Tal; Liss, Natan; Chai, Yoav; Schwartz, Eli; Giryes, Raja; Bronstein, Alexander M.; Mendelson, Avi

Idioma: Inglés

Editor: MDPI

Año: 2021

Descargar PDF

Acceso abierto

Artículo científico
2021

Bonito: estimación de inyección de ruido y sujeción para la cuantización de redes neuronales


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Redes neuronales convolucionales
Aprendizaje profundo
Cuantificación
Aplicaciones en tiempo real
Sistemas de baja potencia
FPGA

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 28

Citaciones: Sin citaciones


Descripción
Las Redes Neuronales Convolucionales (CNNs) son muy populares en muchos campos, incluyendo visión por computadora, reconocimiento de voz, procesamiento de lenguaje natural, etc. Aunque el aprendizaje profundo lleva a un rendimiento innovador en esos dominios, las redes utilizadas son muy exigentes computacionalmente y están lejos de poder funcionar en aplicaciones en tiempo real incluso en una GPU, lo cual no es eficiente en energía y por lo tanto no es adecuado para sistemas de baja potencia como dispositivos móviles. Para superar este desafío, se han propuesto algunas soluciones para cuantificar los pesos y activaciones de estas redes, lo cual acelera significativamente el tiempo de ejecución. Sin embargo, esta aceleración conlleva un mayor error a menos que se realicen ajustes espaciales. El método propuesto en este trabajo entrena redes neuronales cuantificadas mediante inyección de ruido y un ajuste aprendido, lo cual mejora la precisión. Esto lleva a resultados de vanguardia en varias tareas de regresión y clasificación, por ejemplo, clasificación de ImageNet con arquitecturas como ResNet-18/34/50 con tan solo 3 bits de pesos y activaciones. Implementamos la solución propuesta en una FPGA para demostrar su aplicabilidad en aplicaciones en tiempo real de baja potencia. El código de cuantificación estará disponible públicamente una vez sea aceptado.

Otros recursos que podrían interesarte

Temas Virtualpro