Explorando el impacto de la variabilidad en las distribuciones de resistencia de RRAM en la precisión de predicción de redes neuronales de aprendizaje profundo
Autores: Prabhu, Nagaraj Lakshmana; Loy Jia Jun, Desmond; Dananjaya, Putu Andhita; Lew, Wen Siang; Toh, Eng Huat; Raghavan, Nagarajan
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Explorando el impacto de la variabilidad en las distribuciones de resistencia de RRAM en la precisión de predicción de redes neuronales de aprendizaje profundo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Memoria de acceso aleatorio resistiva
Dispositivo RRAM
Red neuronal de aprendizaje profundo
Simulaciones de DNN
Conjunto de datos IMAGENET
Red neuronal convolucional
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
En este trabajo, exploramos el uso del dispositivo de memoria de acceso aleatorio resistivo (RRAM) como una sinapsis para imitar los pesos entrenados que vinculan las neuronas en una red neuronal de aprendizaje profundo (DNN) (AlexNet). Los dispositivos RRAM fueron fabricados internamente y sometidos a 1000 ciclos de lectura-escritura bipolares para medir las resistencias registradas para Lógica-0 y Lógica-1 (demostramos la viabilidad de lograr ocho estados de resistencia discretos en el mismo dispositivo dependiendo del voltaje de parada de RESET). Se realizaron simulaciones de DNN para comparar el error relativo entre la salida de la Capa 1 de AlexNet (Convolución) implementada con el algoritmo de retropropagación estándar (BP) de pesos entrenados versus los pesos que están codificados utilizando las distribuciones de resistencia medidas de RRAM. El conjunto de datos IMAGENET se utiliza con fines de clasificación aquí. Nos enfocamos solo en los pesos de la Capa 1 en el marco de trabajo de AlexNet con valores de filtros de 11 x 11 x 96 codificados en punto flotante binario y sustituidos con los valores de resistencia de RRAM correspondientes a Lógica-0 y Lógica-1. El impacto de la variabilidad en los estados de resistencia de RRAM para los estados de baja y alta resistencia en la precisión de la clasificación de imágenes se estudia formulando una tabla de búsqueda (LUT) para el RRAM (a partir de datos medidos) y comparando la salida de cálculo de convolución de la Capa 1 de AlexNet con las salidas estándar de los pesos pre-entrenados basados en BP. Este es uno de los primeros estudios dedicados a explorar el impacto de la variabilidad de la resistencia del dispositivo RRAM en la precisión de predicción de una red neuronal convolucional (CNN) en una plataforma AlexNet a través de un marco que requiere datos de prueba de cambio de dispositivo reales limitados.
Descripción
En este trabajo, exploramos el uso del dispositivo de memoria de acceso aleatorio resistivo (RRAM) como una sinapsis para imitar los pesos entrenados que vinculan las neuronas en una red neuronal de aprendizaje profundo (DNN) (AlexNet). Los dispositivos RRAM fueron fabricados internamente y sometidos a 1000 ciclos de lectura-escritura bipolares para medir las resistencias registradas para Lógica-0 y Lógica-1 (demostramos la viabilidad de lograr ocho estados de resistencia discretos en el mismo dispositivo dependiendo del voltaje de parada de RESET). Se realizaron simulaciones de DNN para comparar el error relativo entre la salida de la Capa 1 de AlexNet (Convolución) implementada con el algoritmo de retropropagación estándar (BP) de pesos entrenados versus los pesos que están codificados utilizando las distribuciones de resistencia medidas de RRAM. El conjunto de datos IMAGENET se utiliza con fines de clasificación aquí. Nos enfocamos solo en los pesos de la Capa 1 en el marco de trabajo de AlexNet con valores de filtros de 11 x 11 x 96 codificados en punto flotante binario y sustituidos con los valores de resistencia de RRAM correspondientes a Lógica-0 y Lógica-1. El impacto de la variabilidad en los estados de resistencia de RRAM para los estados de baja y alta resistencia en la precisión de la clasificación de imágenes se estudia formulando una tabla de búsqueda (LUT) para el RRAM (a partir de datos medidos) y comparando la salida de cálculo de convolución de la Capa 1 de AlexNet con las salidas estándar de los pesos pre-entrenados basados en BP. Este es uno de los primeros estudios dedicados a explorar el impacto de la variabilidad de la resistencia del dispositivo RRAM en la precisión de predicción de una red neuronal convolucional (CNN) en una plataforma AlexNet a través de un marco que requiere datos de prueba de cambio de dispositivo reales limitados.