La codificación de computación lineal: un marco para la cuantización conjunta y la computación
Autores: Müller, Ralf Reiner; Gäde, Bernhard Martin Wilhelm; Bereyhi, Ali
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
La codificación de computación lineal: un marco para la cuantización conjunta y la computación
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Codificación computacional
Compresión con pérdida
Funciones lineales
Costo computacional
Red neuronal profunda
Aritmética de enteros con signo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
Aquí presentamos el nuevo concepto de codificación de computación. Similar a cómo la teoría de la tasa-distorsión se preocupa por la compresión con pérdida de datos, la codificación de computación se ocupa de la computación con pérdida de funciones. Especializándose en funciones lineales, presentamos un enfoque algorítmico para reducir el costo computacional de multiplicar una matriz constante por un vector variable, lo cual no requiere que ni la matriz ni el vector tengan una estructura particular o propiedades estadísticas. El algoritmo descompone la matriz constante en el producto de matrices cuyas entradas son cero o potencias enteras de dos con signo. Para una aplicación típica como la implementación de una red neuronal profunda, el algoritmo propuesto reduce el número de unidades de adición requeridas varias veces. Para lograr la precisión de aritmética de enteros con signo de 16 bits para vectores de 4k, no se necesitan multiplicadores y solo 1.5 sumadores por entrada de matriz.
Descripción
Aquí presentamos el nuevo concepto de codificación de computación. Similar a cómo la teoría de la tasa-distorsión se preocupa por la compresión con pérdida de datos, la codificación de computación se ocupa de la computación con pérdida de funciones. Especializándose en funciones lineales, presentamos un enfoque algorítmico para reducir el costo computacional de multiplicar una matriz constante por un vector variable, lo cual no requiere que ni la matriz ni el vector tengan una estructura particular o propiedades estadísticas. El algoritmo descompone la matriz constante en el producto de matrices cuyas entradas son cero o potencias enteras de dos con signo. Para una aplicación típica como la implementación de una red neuronal profunda, el algoritmo propuesto reduce el número de unidades de adición requeridas varias veces. Para lograr la precisión de aritmética de enteros con signo de 16 bits para vectores de 4k, no se necesitan multiplicadores y solo 1.5 sumadores por entrada de matriz.