Un marco de red neuronal binaria consciente de la variación para cálculos resilientes al proceso en memoria
Autores: Le, Minh-Son; Pham, Thi-Nhan; Nguyen, Thanh-Dat; Chang, Ik-Joon
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un marco de red neuronal binaria consciente de la variación para cálculos resilientes al proceso en memoria
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes neuronales binarias
CIM analógico
Variación de proceso
Basado en SRAM
Precisión de clasificación
Marco de trabajo de BNN
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
Las redes neuronales binarias (BNNs) que utilizan pesos y activaciones de 1 bit han despertado interés, ya que la cuantización extrema proporciona una baja disipación de energía. Al implementar BNNs como cálculos en memoria (CIM), que realizan multiplicaciones y acumulaciones en matrices de memoria de forma analógica, es decir, CIM analógico, podemos mejorar aún más la eficiencia energética para procesar redes neuronales. Sin embargo, los CIM analógicos son susceptibles a variaciones de proceso, que se refieren a la variabilidad en la fabricación que causa fluctuaciones en las propiedades eléctricas de los transistores, lo que resulta en una degradación significativa en la precisión de las BNN. Nuestras simulaciones de Monte Carlo demuestran que en un CIM analógico basado en SRAM implementando el modelo BNN VGG-9, la precisión de clasificación en el conjunto de datos de imágenes CIFAR-10 se degrada por debajo del 50% bajo variaciones de proceso en una tecnología FD-SOI de 28 nm. Para superar este problema, presentamos un marco de trabajo de BNN consciente de la variación. El marco propuesto está desarrollado para CIMs BNN basados en SRAM, ya que SRAM es el más ampliamente utilizado como memoria en chip; sin embargo, es fácilmente adaptable a CIMs BNN basados en otras memorias. Nuestros extensos resultados experimentales demuestran que bajo la variación de proceso de 28 nm FD-SOI, con un tamaño de matriz SRAM de , nuestro marco mejora significativamente las precisiones de clasificación tanto en el conjunto de datos de dígitos escritos a mano MNIST como en el conjunto de datos de imágenes CIFAR-10. Específicamente, para el modelo BNN CONVNET en MNIST, la precisión mejora del 60.24% al 92.33%, mientras que para el modelo BNN VGG-9 en CIFAR-10, la precisión aumenta del 45.23% al 78.22%.
Descripción
Las redes neuronales binarias (BNNs) que utilizan pesos y activaciones de 1 bit han despertado interés, ya que la cuantización extrema proporciona una baja disipación de energía. Al implementar BNNs como cálculos en memoria (CIM), que realizan multiplicaciones y acumulaciones en matrices de memoria de forma analógica, es decir, CIM analógico, podemos mejorar aún más la eficiencia energética para procesar redes neuronales. Sin embargo, los CIM analógicos son susceptibles a variaciones de proceso, que se refieren a la variabilidad en la fabricación que causa fluctuaciones en las propiedades eléctricas de los transistores, lo que resulta en una degradación significativa en la precisión de las BNN. Nuestras simulaciones de Monte Carlo demuestran que en un CIM analógico basado en SRAM implementando el modelo BNN VGG-9, la precisión de clasificación en el conjunto de datos de imágenes CIFAR-10 se degrada por debajo del 50% bajo variaciones de proceso en una tecnología FD-SOI de 28 nm. Para superar este problema, presentamos un marco de trabajo de BNN consciente de la variación. El marco propuesto está desarrollado para CIMs BNN basados en SRAM, ya que SRAM es el más ampliamente utilizado como memoria en chip; sin embargo, es fácilmente adaptable a CIMs BNN basados en otras memorias. Nuestros extensos resultados experimentales demuestran que bajo la variación de proceso de 28 nm FD-SOI, con un tamaño de matriz SRAM de , nuestro marco mejora significativamente las precisiones de clasificación tanto en el conjunto de datos de dígitos escritos a mano MNIST como en el conjunto de datos de imágenes CIFAR-10. Específicamente, para el modelo BNN CONVNET en MNIST, la precisión mejora del 60.24% al 92.33%, mientras que para el modelo BNN VGG-9 en CIFAR-10, la precisión aumenta del 45.23% al 78.22%.