logo móvil
Contáctanos

Reduciendo parámetros de redes neuronales a través de aproximación tensorial recursiva

Autores: Kwon, Kyuahn; Chung, Jaeyong

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

Reduciendo parámetros de redes neuronales a través de aproximación tensorial recursiva


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Redes neuronales a gran escala
Parámetros de peso
Sistemas embebidos
Computadoras neuromórficas
Método de factorización de tensores
Descomposición de valores singulares

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 30

Citaciones: Sin citaciones


Descripción
Las redes neuronales a gran escala han atraído mucha atención por los sorprendentes resultados en varias tareas cognitivas como la detección de objetos y la clasificación de imágenes. Sin embargo, el gran número de parámetros de peso en las redes complejas puede ser problemático cuando los modelos se implementan en sistemas integrados. Además, los problemas se ven agravados en los ordenadores neuromórficos emergentes, donde cada parámetro de peso se almacena dentro de una sinapsis, el recurso computacional principal de los ordenadores bioinspirados. Describimos una forma efectiva de reducir los parámetros mediante un método de factorización tensorial recursiva. Aplicar la descomposición de valores singulares de manera recursiva descompone un tensor que representa los parámetros de peso. Luego, el tensor se aproxima mediante algoritmos que minimizan el error de aproximación y el número de parámetros. Este proceso factoriza una red dada, produciendo una red más profunda, menos densa y compartida en peso con buenos pesos iniciales, que pueden ser ajustados finamente mediante descenso de gradiente.

Otros recursos que podrían interesarte

Temas Virtualpro