Optimización de redes neuronales de disparo basadas en codificación de tasa de flujo binario
Autores: Al-Hamid, Ali A.; Kim, HyungWon
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Optimización de redes neuronales de disparo basadas en codificación de tasa de flujo binario
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes neuronales espiking
Implementación de hardware
Método de optimización
Codificación de Tasa de Flujo Binario
Optimización de estructura
Cuantificación de peso
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
Las redes neuronales de disparo (SNN) atraen cada vez más atención por su similitud con el sistema neural biológico. Sin embargo, la implementación de hardware de redes neuronales de disparo sigue siendo un gran desafío debido a su excesiva complejidad y tamaño de circuito. Este trabajo introduce un nuevo método de optimización para una arquitectura de SNN amigable con el hardware basada en un esquema de codificación de tasa modificado llamado Codificación de Tasa en Streaming Binario (BSRC). BSRC combina las características de la codificación de tasa y temporal. Además, mediante el empleo de un aleatorizador incorporado, el modelo de SNN BSRC proporciona una mayor precisión y un entrenamiento más rápido. También presentamos métodos de optimización de SNN que incluyen optimización de estructura y cuantificación de pesos. Evaluaciones extensas con SNNs de MNIST demuestran que la optimización de estructura de SNN (81-30-20-10) proporciona una reducción de 183.19 veces en hardware en comparación con SNN (784-800-10), al tiempo que ofrece una precisión del 95.25%, una pequeña pérdida en comparación con el 98.89% y 98.93% reportado en trabajos anteriores. Nuestra cuantificación de pesos reduce pesos de 32 bits a enteros de 4 bits, lo que conduce a una reducción adicional de hardware de 4 veces con solo una pérdida de precisión del 0.56%. En general, el modelo de SNN (81-30-20-10) optimizado por nuestro método reduce el área de circuito de SNN de 3089.49 para SNN (784-800-10) a 4.04, una reducción de 765 veces.
Descripción
Las redes neuronales de disparo (SNN) atraen cada vez más atención por su similitud con el sistema neural biológico. Sin embargo, la implementación de hardware de redes neuronales de disparo sigue siendo un gran desafío debido a su excesiva complejidad y tamaño de circuito. Este trabajo introduce un nuevo método de optimización para una arquitectura de SNN amigable con el hardware basada en un esquema de codificación de tasa modificado llamado Codificación de Tasa en Streaming Binario (BSRC). BSRC combina las características de la codificación de tasa y temporal. Además, mediante el empleo de un aleatorizador incorporado, el modelo de SNN BSRC proporciona una mayor precisión y un entrenamiento más rápido. También presentamos métodos de optimización de SNN que incluyen optimización de estructura y cuantificación de pesos. Evaluaciones extensas con SNNs de MNIST demuestran que la optimización de estructura de SNN (81-30-20-10) proporciona una reducción de 183.19 veces en hardware en comparación con SNN (784-800-10), al tiempo que ofrece una precisión del 95.25%, una pequeña pérdida en comparación con el 98.89% y 98.93% reportado en trabajos anteriores. Nuestra cuantificación de pesos reduce pesos de 32 bits a enteros de 4 bits, lo que conduce a una reducción adicional de hardware de 4 veces con solo una pérdida de precisión del 0.56%. En general, el modelo de SNN (81-30-20-10) optimizado por nuestro método reduce el área de circuito de SNN de 3089.49 para SNN (784-800-10) a 4.04, una reducción de 765 veces.