Implementación de redes neuronales binarizadas en plataformas de sistema en chip totalmente programables
Autores: Xiang, Maoyang; Teo, Tee Hui
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Implementación de redes neuronales binarizadas en plataformas de sistema en chip totalmente programables
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Red neuronal
Pesos binarios
Red neuronal convolucional
Dispositivos integrados
Eficiencia
Precisión
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 43
Citaciones: Sin citaciones
La Red Neuronal Binaria (BNN) es una Red Neuronal Convolucional (CNN) que consiste en pesos y activaciones binarios en lugar de pesos de valor real. Se utilizan modelos más pequeños, lo que permite realizar inferencias de manera efectiva en dispositivos móviles o integrados con limitaciones de potencia y capacidad de cómputo. Sin embargo, la binarización resulta en mapas de características de menor entropía y desvanecimiento del gradiente, lo que conlleva una pérdida de precisión en comparación con las redes de valor real. Investigaciones anteriores han abordado estos problemas con diversos enfoques. Sin embargo, esos enfoques aumentan significativamente la complejidad temporal y espacial del algoritmo, lo que supone una carga pesada para esos dispositivos integrados. Por lo tanto, en este artículo se propone un enfoque novedoso para la implementación de BNN en sistemas integrados con una topología BNN multi-escala, desde dos perspectivas de optimización: estructura de hardware y topología BNN, que conserva más características de bajo nivel a lo largo del proceso de avance con pocas operaciones. Experimentos en el conjunto de datos CIFAR-10 indican que el método propuesto supera a varios diseños actuales de BNN en términos de eficiencia y precisión. Además, el BNN propuesto se implementó en el Sistema en Chip Totalmente Programable (APSoC) con un consumo de energía de 4.4 W utilizando el acelerador de hardware.
Descripción
La Red Neuronal Binaria (BNN) es una Red Neuronal Convolucional (CNN) que consiste en pesos y activaciones binarios en lugar de pesos de valor real. Se utilizan modelos más pequeños, lo que permite realizar inferencias de manera efectiva en dispositivos móviles o integrados con limitaciones de potencia y capacidad de cómputo. Sin embargo, la binarización resulta en mapas de características de menor entropía y desvanecimiento del gradiente, lo que conlleva una pérdida de precisión en comparación con las redes de valor real. Investigaciones anteriores han abordado estos problemas con diversos enfoques. Sin embargo, esos enfoques aumentan significativamente la complejidad temporal y espacial del algoritmo, lo que supone una carga pesada para esos dispositivos integrados. Por lo tanto, en este artículo se propone un enfoque novedoso para la implementación de BNN en sistemas integrados con una topología BNN multi-escala, desde dos perspectivas de optimización: estructura de hardware y topología BNN, que conserva más características de bajo nivel a lo largo del proceso de avance con pocas operaciones. Experimentos en el conjunto de datos CIFAR-10 indican que el método propuesto supera a varios diseños actuales de BNN en términos de eficiencia y precisión. Además, el BNN propuesto se implementó en el Sistema en Chip Totalmente Programable (APSoC) con un consumo de energía de 4.4 W utilizando el acelerador de hardware.