Compresión de redes neuronales para tareas especializadas a través de la localidad de valores
Autores: Gabbay, Freddy; Shomron, Gil
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Compresión de redes neuronales para tareas especializadas a través de la localidad de valores
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Redes neuronales convolucionales
Algoritmo de compresión
Localidad de valores
Tareas especializadas
Recursos computacionales
Precisión
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
Las redes neuronales convolucionales (CNNs) se utilizan ampliamente en numerosas aplicaciones como visión por computadora y clasificación de imágenes. Aunque los modelos de CNN ofrecen una precisión de vanguardia, requieren recursos computacionales pesados que no siempre son asequibles o están disponibles en todas las plataformas. El rendimiento limitado, el costo del sistema y el consumo de energía, como en dispositivos periféricos, abogan por la optimización de cálculos en redes neuronales. Con este fin, proponemos aquí el algoritmo de compresión basado en la localidad de valores (VELCRO) para redes neuronales. VELCRO es un método para comprimir redes neuronales de propósito general que se despliegan para un pequeño subconjunto de tareas especializadas enfocadas. Aunque este estudio se centra en las CNNs, VELCRO se puede utilizar para comprimir cualquier red neuronal profunda. VELCRO se basa en la propiedad de la localidad de valores, que sugiere que las funciones de activación exhiben valores cercanos a través del proceso de inferencia cuando la red se utiliza para tareas especializadas. VELCRO consta de dos etapas: una etapa de preprocesamiento que identifica los elementos de salida de la función de activación con un alto grado de localidad de valores, y una etapa de compresión que reemplaza estos elementos con sus valores aritméticos promedio correspondientes. Como resultado, VELCRO no solo ahorra la computación de las activaciones reemplazadas, sino que también evita procesar sus elementos correspondientes del mapa de características de salida. A diferencia de los algoritmos comunes de compresión de redes neuronales, que requieren procesos de entrenamiento intensivos computacionalmente, VELCRO introduce requisitos computacionales significativamente menores. Un análisis de nuestros experimentos indica que, cuando las CNNs se utilizan para tareas especializadas, introducen un alto grado de localidad de valores en comparación con el caso de propósito general. Además, los resultados experimentales muestran que sin ningún proceso de entrenamiento, VELCRO produce una relación de ahorro de compresión en el rango del 13.5-30.0% sin degradación en la precisión. Finalmente, los resultados experimentales indican que, cuando VELCRO se usa con un objetivo de compresión relativamente bajo, mejora significativamente la precisión en un 2-20% para tareas especializadas de CNN.
Descripción
Las redes neuronales convolucionales (CNNs) se utilizan ampliamente en numerosas aplicaciones como visión por computadora y clasificación de imágenes. Aunque los modelos de CNN ofrecen una precisión de vanguardia, requieren recursos computacionales pesados que no siempre son asequibles o están disponibles en todas las plataformas. El rendimiento limitado, el costo del sistema y el consumo de energía, como en dispositivos periféricos, abogan por la optimización de cálculos en redes neuronales. Con este fin, proponemos aquí el algoritmo de compresión basado en la localidad de valores (VELCRO) para redes neuronales. VELCRO es un método para comprimir redes neuronales de propósito general que se despliegan para un pequeño subconjunto de tareas especializadas enfocadas. Aunque este estudio se centra en las CNNs, VELCRO se puede utilizar para comprimir cualquier red neuronal profunda. VELCRO se basa en la propiedad de la localidad de valores, que sugiere que las funciones de activación exhiben valores cercanos a través del proceso de inferencia cuando la red se utiliza para tareas especializadas. VELCRO consta de dos etapas: una etapa de preprocesamiento que identifica los elementos de salida de la función de activación con un alto grado de localidad de valores, y una etapa de compresión que reemplaza estos elementos con sus valores aritméticos promedio correspondientes. Como resultado, VELCRO no solo ahorra la computación de las activaciones reemplazadas, sino que también evita procesar sus elementos correspondientes del mapa de características de salida. A diferencia de los algoritmos comunes de compresión de redes neuronales, que requieren procesos de entrenamiento intensivos computacionalmente, VELCRO introduce requisitos computacionales significativamente menores. Un análisis de nuestros experimentos indica que, cuando las CNNs se utilizan para tareas especializadas, introducen un alto grado de localidad de valores en comparación con el caso de propósito general. Además, los resultados experimentales muestran que sin ningún proceso de entrenamiento, VELCRO produce una relación de ahorro de compresión en el rango del 13.5-30.0% sin degradación en la precisión. Finalmente, los resultados experimentales indican que, cuando VELCRO se usa con un objetivo de compresión relativamente bajo, mejora significativamente la precisión en un 2-20% para tareas especializadas de CNN.