Entrenamiento de Redes Neuronales Sin Gradientes a Través del Aprendizaje por Refuerzo a Nivel Sináptico
Autores: Bhargava, Aman; Rezaei, Mohammad R.; Lankarany, Milad
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Entrenamiento de Redes Neuronales Sin Gradientes a Través del Aprendizaje por Refuerzo a Nivel Sináptico
Categoría
Matemáticas
Subcategoría
Matemáticas aplicadas
Palabras clave
Procesamiento de información neuronal
Mecanismo de aprendizaje a nivel sináptico
Aprendizaje por refuerzo
Perceptrón multicapa
Política de aprendizaje sináptico
Descenso de gradiente
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 23
Citaciones: Sin citaciones
Un desafío continuo en el procesamiento de información neuronal es la siguiente pregunta: ¿cómo ajustan las neuronas su conectividad para mejorar el rendimiento de las tareas a nivel de red con el tiempo (es decir, ¿actualizar el aprendizaje?) Se cree ampliamente que existe un mecanismo de aprendizaje consistente a nivel sináptico en regiones específicas del cerebro, como los ganglios basales, que actualiza el aprendizaje. Sin embargo, la naturaleza exacta de este mecanismo sigue siendo incierta. Aquí, investigamos el uso de algoritmos sinápticos universales en el entrenamiento de modelos conexionistas. Específicamente, proponemos un algoritmo basado en el aprendizaje por refuerzo (RL) para generar y aplicar una política de aprendizaje sináptico simple inspirada biológicamente para redes neuronales. En este algoritmo, el espacio de acción para cada sinapsis en la red consiste en un pequeño aumento, disminución o acción nula sobre la fuerza de conexión. Para probar nuestro algoritmo, lo aplicamos a un modelo de red neuronal de perceptrón multicapa (MLP). Este algoritmo produce una política de aprendizaje sináptico estática que permite el entrenamiento simultáneo de más de 20,000 parámetros (es decir, sinapsis) y una convergencia de aprendizaje consistente cuando se aplica a tareas de coincidencia de límites de decisión simulados y reconocimiento óptico de caracteres. Las redes entrenadas producen un rendimiento de reconocimiento de caracteres comparable al de redes de forma idéntica entrenadas con descenso de gradiente. El enfoque tiene dos ventajas significativas en comparación con los métodos de optimización tradicionales basados en descenso de gradiente. Primero, la robustez de nuestro nuevo método y su falta de dependencia de los cálculos de gradiente abre la puerta a nuevas técnicas para entrenar redes neuronales artificiales difíciles de diferenciar, como las redes neuronales de picos (SNN) y las redes neuronales recurrentes (RNN). En segundo lugar, la simplicidad del método proporciona una oportunidad única para el desarrollo adicional de modelos conexionistas multiagente impulsados por información local para la inteligencia de máquinas análoga a los autómatas celulares.
Descripción
Un desafío continuo en el procesamiento de información neuronal es la siguiente pregunta: ¿cómo ajustan las neuronas su conectividad para mejorar el rendimiento de las tareas a nivel de red con el tiempo (es decir, ¿actualizar el aprendizaje?) Se cree ampliamente que existe un mecanismo de aprendizaje consistente a nivel sináptico en regiones específicas del cerebro, como los ganglios basales, que actualiza el aprendizaje. Sin embargo, la naturaleza exacta de este mecanismo sigue siendo incierta. Aquí, investigamos el uso de algoritmos sinápticos universales en el entrenamiento de modelos conexionistas. Específicamente, proponemos un algoritmo basado en el aprendizaje por refuerzo (RL) para generar y aplicar una política de aprendizaje sináptico simple inspirada biológicamente para redes neuronales. En este algoritmo, el espacio de acción para cada sinapsis en la red consiste en un pequeño aumento, disminución o acción nula sobre la fuerza de conexión. Para probar nuestro algoritmo, lo aplicamos a un modelo de red neuronal de perceptrón multicapa (MLP). Este algoritmo produce una política de aprendizaje sináptico estática que permite el entrenamiento simultáneo de más de 20,000 parámetros (es decir, sinapsis) y una convergencia de aprendizaje consistente cuando se aplica a tareas de coincidencia de límites de decisión simulados y reconocimiento óptico de caracteres. Las redes entrenadas producen un rendimiento de reconocimiento de caracteres comparable al de redes de forma idéntica entrenadas con descenso de gradiente. El enfoque tiene dos ventajas significativas en comparación con los métodos de optimización tradicionales basados en descenso de gradiente. Primero, la robustez de nuestro nuevo método y su falta de dependencia de los cálculos de gradiente abre la puerta a nuevas técnicas para entrenar redes neuronales artificiales difíciles de diferenciar, como las redes neuronales de picos (SNN) y las redes neuronales recurrentes (RNN). En segundo lugar, la simplicidad del método proporciona una oportunidad única para el desarrollo adicional de modelos conexionistas multiagente impulsados por información local para la inteligencia de máquinas análoga a los autómatas celulares.