Arquitectura BNN basada en FPGA en dominio temporal con bajo almacenamiento y consumo de energía
Autores: Zhang, Longlong; Tang, Xuebin; Hu, Xiang; Zhou, Tong; Peng, Yuanxi
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Arquitectura BNN basada en FPGA en dominio temporal con bajo almacenamiento y consumo de energía
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes neuronales convolucionales
Redes neuronales ligeras
Redes neuronales binarizadas
Convolución binaria
Normalización por lotes
Arquitectura de hardware
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
Con la creciente demanda de redes neuronales convolucionales (CNN) en muchos escenarios de cómputo en el borde y entornos con recursos limitados, los investigadores han hecho esfuerzos para aplicar redes neuronales livianas en plataformas de hardware. Mientras que las redes neuronales binarizadas (BNN) funcionan excelentemente en tales tareas, muchas implementaciones aún enfrentan desafíos como un desequilibrio entre precisión y complejidad computacional, así como la necesidad de bajo consumo de energía y almacenamiento. Este documento propone primero una nueva estructura de convolución binaria basada en el dominio del tiempo para reducir el consumo de recursos y energía para el proceso de convolución. Además, a través del diseño conjunto de convolución binaria, normalización de lotes y función de activación en el dominio del tiempo, proponemos un modelo BNN completo y una arquitectura de hardware (Modelo I), que mantiene los valores de todos los resultados intermedios como binarios (1 bit) para reducir los requisitos de almacenamiento en un 75%. Al mismo tiempo, proponemos una estructura BNN de precisión mixta (modelo II) basada en la sensibilidad de diferentes capas de la red a la precisión del cálculo; es decir, la capa sensible al resultado de clasificación utiliza datos de punto fijo, y las otras capas utilizan datos binarios en el dominio del tiempo. Esto puede lograr un equilibrio entre precisión y recursos informáticos. Por último, tomamos el conjunto de datos MNIST como ejemplo para probar los dos modelos en la plataforma de matriz de compuertas programable en campo (FPGA). Los resultados muestran que los dos modelos pueden utilizarse como unidades de aceleración de redes neuronales con bajos requisitos de almacenamiento y bajo consumo de energía para tareas de clasificación en condiciones en las que la disminución de precisión es pequeña. El método de diseño conjunto en el dominio del tiempo puede inspirar aún más a otras arquitecturas informáticas. Además, el diseño del Modelo II tiene cierta importancia de referencia para el diseño de tareas de clasificación más complejas.
Descripción
Con la creciente demanda de redes neuronales convolucionales (CNN) en muchos escenarios de cómputo en el borde y entornos con recursos limitados, los investigadores han hecho esfuerzos para aplicar redes neuronales livianas en plataformas de hardware. Mientras que las redes neuronales binarizadas (BNN) funcionan excelentemente en tales tareas, muchas implementaciones aún enfrentan desafíos como un desequilibrio entre precisión y complejidad computacional, así como la necesidad de bajo consumo de energía y almacenamiento. Este documento propone primero una nueva estructura de convolución binaria basada en el dominio del tiempo para reducir el consumo de recursos y energía para el proceso de convolución. Además, a través del diseño conjunto de convolución binaria, normalización de lotes y función de activación en el dominio del tiempo, proponemos un modelo BNN completo y una arquitectura de hardware (Modelo I), que mantiene los valores de todos los resultados intermedios como binarios (1 bit) para reducir los requisitos de almacenamiento en un 75%. Al mismo tiempo, proponemos una estructura BNN de precisión mixta (modelo II) basada en la sensibilidad de diferentes capas de la red a la precisión del cálculo; es decir, la capa sensible al resultado de clasificación utiliza datos de punto fijo, y las otras capas utilizan datos binarios en el dominio del tiempo. Esto puede lograr un equilibrio entre precisión y recursos informáticos. Por último, tomamos el conjunto de datos MNIST como ejemplo para probar los dos modelos en la plataforma de matriz de compuertas programable en campo (FPGA). Los resultados muestran que los dos modelos pueden utilizarse como unidades de aceleración de redes neuronales con bajos requisitos de almacenamiento y bajo consumo de energía para tareas de clasificación en condiciones en las que la disminución de precisión es pequeña. El método de diseño conjunto en el dominio del tiempo puede inspirar aún más a otras arquitecturas informáticas. Además, el diseño del Modelo II tiene cierta importancia de referencia para el diseño de tareas de clasificación más complejas.