Reduciendo parámetros de redes neuronales a través de aproximación tensorial recursiva
Autores: Kwon, Kyuahn; Chung, Jaeyong
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Reduciendo parámetros de redes neuronales a través de aproximación tensorial recursiva
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes neuronales a gran escala
Parámetros de peso
Sistemas embebidos
Computadoras neuromórficas
Método de factorización de tensores
Descomposición de valores singulares
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
Las redes neuronales a gran escala han atraído mucha atención por los sorprendentes resultados en varias tareas cognitivas como la detección de objetos y la clasificación de imágenes. Sin embargo, el gran número de parámetros de peso en las redes complejas puede ser problemático cuando los modelos se implementan en sistemas integrados. Además, los problemas se ven agravados en los ordenadores neuromórficos emergentes, donde cada parámetro de peso se almacena dentro de una sinapsis, el recurso computacional principal de los ordenadores bioinspirados. Describimos una forma efectiva de reducir los parámetros mediante un método de factorización tensorial recursiva. Aplicar la descomposición de valores singulares de manera recursiva descompone un tensor que representa los parámetros de peso. Luego, el tensor se aproxima mediante algoritmos que minimizan el error de aproximación y el número de parámetros. Este proceso factoriza una red dada, produciendo una red más profunda, menos densa y compartida en peso con buenos pesos iniciales, que pueden ser ajustados finamente mediante descenso de gradiente.
Descripción
Las redes neuronales a gran escala han atraído mucha atención por los sorprendentes resultados en varias tareas cognitivas como la detección de objetos y la clasificación de imágenes. Sin embargo, el gran número de parámetros de peso en las redes complejas puede ser problemático cuando los modelos se implementan en sistemas integrados. Además, los problemas se ven agravados en los ordenadores neuromórficos emergentes, donde cada parámetro de peso se almacena dentro de una sinapsis, el recurso computacional principal de los ordenadores bioinspirados. Describimos una forma efectiva de reducir los parámetros mediante un método de factorización tensorial recursiva. Aplicar la descomposición de valores singulares de manera recursiva descompone un tensor que representa los parámetros de peso. Luego, el tensor se aproxima mediante algoritmos que minimizan el error de aproximación y el número de parámetros. Este proceso factoriza una red dada, produciendo una red más profunda, menos densa y compartida en peso con buenos pesos iniciales, que pueden ser ajustados finamente mediante descenso de gradiente.