Un acelerador de inferencia de red neuronal binaria altamente robusto basado en memristores binarios
Autores: Zhao, Yiyang; Wang, Yongjia; Wang, Ruibo; Rong, Yuan; Jiang, Xianyang
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Un acelerador de inferencia de red neuronal binaria altamente robusto basado en memristores binarios
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Memristor
Redes neuronales
Red neuronal binaria
BNN
Matriz de memristores
Características no ideales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
Desde que se descubrió el memristor, ha mostrado un gran potencial de aplicación en la computación neuromórfica. Actualmente, la mayoría de las redes neuronales basadas en memristores utilizan las características analógicas especiales del memristor. Sin embargo, debido a las limitaciones del proceso de fabricación, características no ideales como la no linealidad, asimetría y la periodicidad inconsistente del dispositivo aparecen con frecuencia y definitivamente, por lo tanto, es un desafío emplear el memristor de manera masiva. Por el contrario, una red neuronal binaria (BNN) requiere que sus pesos sean o bien +1 o -1, lo cual puede ser mapeado por memristores digitales con una alta madurez técnica. Sobre esta base, se propone un acelerador de inferencia BNN altamente robusto con una función de activación sigmoidea binaria. En el acelerador, las entradas de cada capa de red son o bien +1 o 0, lo que puede facilitar la codificación de características y reducir la complejidad del circuito periférico del hardware de memristor. La propuesta de la estructura de memristor de referencia de dos columnas junto con el circuito de fuente de voltaje controlado por corriente (CCVS) no solo resuelve el problema de mapear pesos positivos y negativos en un conjunto de memristores, sino que también elimina el efecto de corriente furtiva en el estado de conductancia mínima. En comparación con la estructura tradicional de par diferencial de BNN, el esquema de referencia de dos columnas propuesto puede reducir tanto el número de memristores como la latencia para actualizar el conjunto de memristores en casi un 50%. Se investiga detalladamente la influencia de factores no ideales del conjunto de memristores, como el rendimiento del conjunto de memristores, la fluctuación de la conductancia del memristor y el ruido de lectura en la precisión de BNN, basándose en un nuevo modelo de circuito de memristor con características no ideales. Los resultados experimentales demuestran que cuando el rendimiento del conjunto es >= 5%, o el ruido de lectura
Descripción
Desde que se descubrió el memristor, ha mostrado un gran potencial de aplicación en la computación neuromórfica. Actualmente, la mayoría de las redes neuronales basadas en memristores utilizan las características analógicas especiales del memristor. Sin embargo, debido a las limitaciones del proceso de fabricación, características no ideales como la no linealidad, asimetría y la periodicidad inconsistente del dispositivo aparecen con frecuencia y definitivamente, por lo tanto, es un desafío emplear el memristor de manera masiva. Por el contrario, una red neuronal binaria (BNN) requiere que sus pesos sean o bien +1 o -1, lo cual puede ser mapeado por memristores digitales con una alta madurez técnica. Sobre esta base, se propone un acelerador de inferencia BNN altamente robusto con una función de activación sigmoidea binaria. En el acelerador, las entradas de cada capa de red son o bien +1 o 0, lo que puede facilitar la codificación de características y reducir la complejidad del circuito periférico del hardware de memristor. La propuesta de la estructura de memristor de referencia de dos columnas junto con el circuito de fuente de voltaje controlado por corriente (CCVS) no solo resuelve el problema de mapear pesos positivos y negativos en un conjunto de memristores, sino que también elimina el efecto de corriente furtiva en el estado de conductancia mínima. En comparación con la estructura tradicional de par diferencial de BNN, el esquema de referencia de dos columnas propuesto puede reducir tanto el número de memristores como la latencia para actualizar el conjunto de memristores en casi un 50%. Se investiga detalladamente la influencia de factores no ideales del conjunto de memristores, como el rendimiento del conjunto de memristores, la fluctuación de la conductancia del memristor y el ruido de lectura en la precisión de BNN, basándose en un nuevo modelo de circuito de memristor con características no ideales. Los resultados experimentales demuestran que cuando el rendimiento del conjunto es >= 5%, o el ruido de lectura