Comparación de métodos de bagging y sparcity para la reducción de conectividad en redes neuronales de espiga con plasticidad memristiva
Autores: Rybka, Roman; Davydov, Yury; Vlasov, Danila; Serenko, Alexey; Sboev, Alexander; Ilyin, Vyacheslav
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Comparación de métodos de bagging y sparcity para la reducción de conectividad en redes neuronales de espiga con plasticidad memristiva
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Red neuronal de picos
Hardware neuromórfico
Plasticidad local
Reducción de conectividad
Modelos de plasticidad memristiva
Plasticidad dependiente del tiempo de espiga
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 52
Citaciones: Sin citaciones
Desarrollar una arquitectura de red neuronal de disparo que pueda ser entrenada prospectivamente en hardware neuromórfico energéticamente eficiente para resolver diversas tareas de análisis de datos requiere satisfacer las limitaciones de hardware analógico o digital prospectivo, es decir, aprendizaje local y números limitados de conexiones, respectivamente. En este trabajo, comparamos dos métodos de reducción de conectividad que son aplicables a redes de disparo con plasticidad local; en lugar de una red completamente conectada grande (que se utiliza como referencia para la comparación), empleamos o bien un conjunto de pequeñas redes independientes o una red con conectividad dispersa probabilística. Evaluamos ambos métodos con una red neuronal de disparo de tres capas, que se aplican a tareas de clasificación de dígitos escritos y hablados utilizando dos modelos de plasticidad memristiva y la regla clásica de plasticidad dependiente del tiempo de disparo (STDP). Ambos métodos logran un puntaje F1 de 0.93-0.95 en la tarea de reconocimiento de dígitos escritos y de 0.85-0.93 en la tarea de reconocimiento de dígitos hablados. Aplicar una combinación de ambos métodos hizo posible obtener modelos altamente precisos mientras se reducía el número de conexiones en más de tres veces en comparación con el modelo básico.
Descripción
Desarrollar una arquitectura de red neuronal de disparo que pueda ser entrenada prospectivamente en hardware neuromórfico energéticamente eficiente para resolver diversas tareas de análisis de datos requiere satisfacer las limitaciones de hardware analógico o digital prospectivo, es decir, aprendizaje local y números limitados de conexiones, respectivamente. En este trabajo, comparamos dos métodos de reducción de conectividad que son aplicables a redes de disparo con plasticidad local; en lugar de una red completamente conectada grande (que se utiliza como referencia para la comparación), empleamos o bien un conjunto de pequeñas redes independientes o una red con conectividad dispersa probabilística. Evaluamos ambos métodos con una red neuronal de disparo de tres capas, que se aplican a tareas de clasificación de dígitos escritos y hablados utilizando dos modelos de plasticidad memristiva y la regla clásica de plasticidad dependiente del tiempo de disparo (STDP). Ambos métodos logran un puntaje F1 de 0.93-0.95 en la tarea de reconocimiento de dígitos escritos y de 0.85-0.93 en la tarea de reconocimiento de dígitos hablados. Aplicar una combinación de ambos métodos hizo posible obtener modelos altamente precisos mientras se reducía el número de conexiones en más de tres veces en comparación con el modelo básico.