Optimización del flujo de datos mediante la exploración de la reutilización de datos de una sola capa e intercapa en aceleradores con restricciones de memoria
Autores: Ye, Jinghao; Yanagisawa, Masao; Shi, Youhua
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Optimización del flujo de datos mediante la exploración de la reutilización de datos de una sola capa e intercapa en aceleradores con restricciones de memoria
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Acceso a memoria de chip
Aceleradores de redes neuronales
Optimización de flujo de datos
Reutilización de datos entre capas
Acceso a memoria fuera del chip
SmartShuttle
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 26
Citaciones: Sin citaciones
El acceso a la memoria fuera del chip se ha convertido en el cuello de botella de rendimiento y energía en aceleradores de redes neuronales con memoria limitada. Para ofrecer una solución para el procesamiento eficiente de energía de varios modelos de redes neuronales, este artículo propone un método de optimización de flujo de datos para redes neuronales modernas mediante la exploración de la oportunidad de reutilización de datos de una sola capa e intercapa para minimizar la cantidad de accesos a la memoria fuera del chip en aceleradores con memoria limitada. Se presenta primero un análisis matemático de tres métodos de reutilización de datos intercapa. Luego, se propone una exploración exhaustiva para determinar la estrategia óptima de reutilización de datos entre enfoques de reutilización de datos de una sola capa e intercapa. El resultado muestra que, en comparación con el método de exploración basado en una sola capa existente, SmartShuttle, el enfoque propuesto puede lograr hasta un 20.5% y un 32.5% de reducción en el acceso a la memoria fuera del chip para ResNeXt-50 y DenseNet-121, respectivamente.
Descripción
El acceso a la memoria fuera del chip se ha convertido en el cuello de botella de rendimiento y energía en aceleradores de redes neuronales con memoria limitada. Para ofrecer una solución para el procesamiento eficiente de energía de varios modelos de redes neuronales, este artículo propone un método de optimización de flujo de datos para redes neuronales modernas mediante la exploración de la oportunidad de reutilización de datos de una sola capa e intercapa para minimizar la cantidad de accesos a la memoria fuera del chip en aceleradores con memoria limitada. Se presenta primero un análisis matemático de tres métodos de reutilización de datos intercapa. Luego, se propone una exploración exhaustiva para determinar la estrategia óptima de reutilización de datos entre enfoques de reutilización de datos de una sola capa e intercapa. El resultado muestra que, en comparación con el método de exploración basado en una sola capa existente, SmartShuttle, el enfoque propuesto puede lograr hasta un 20.5% y un 32.5% de reducción en el acceso a la memoria fuera del chip para ResNeXt-50 y DenseNet-121, respectivamente.