Colaboración de inferencia en la nube y el borde con poda de red
Autores: Li, Mingran; Zhang, Xuejun; Guo, Jiasheng; Li, Feng
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Colaboración de inferencia en la nube y el borde con poda de red
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aumento
Redes neuronales profundas
Dispositivos de borde
Poda de red
Minimización del sesgo de características
Latencia de extremo a extremo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
Con el aumento de los parámetros del modelo, las redes neuronales profundas (DNNs) han logrado un rendimiento notable en visión por computadora, pero las DNNs más grandes crean un cuello de botella para implementar las DNNs en dispositivos periféricos con recursos limitados. La inferencia colaborativa nube-periferia basada en la poda de redes proporciona una solución para la implementación de DNNs en dispositivos periféricos. Sin embargo, los métodos de poda adoptados por los marcos existentes son localmente efectivos y los modelos comprimidos son demasiado dispersos. En este documento, diseñamos un marco de inferencia colaborativa nube-periferia basado en la poda de redes para aprovechar al máximo los recursos informáticos limitados en dispositivos periféricos. En nuestro marco, proponemos un método de poda de minimización de sesgo de características consciente de la dispersión para reducir el sesgo de características que ocurre durante la poda de redes y evitar que el modelo podado sea demasiado disperso. Para reducir aún más la latencia de inferencia, consideramos la diferencia en los recursos informáticos entre los dispositivos periféricos y la nube, luego diseñamos una codificación de características asimétrica orientada a tareas para reducir la sobrecarga de comunicación al transmitir datos intermedios. Con experimentos exhaustivos, nuestro marco puede reducir la latencia de extremo a extremo en un 82% a 84% con menos del 1% de pérdida de precisión, en comparación con el marco de inferencia colaborativa nube-periferia con métodos tradicionales, y nuestro marco tiene la menor latencia de extremo a extremo y pérdida de precisión en comparación con otros marcos.
Descripción
Con el aumento de los parámetros del modelo, las redes neuronales profundas (DNNs) han logrado un rendimiento notable en visión por computadora, pero las DNNs más grandes crean un cuello de botella para implementar las DNNs en dispositivos periféricos con recursos limitados. La inferencia colaborativa nube-periferia basada en la poda de redes proporciona una solución para la implementación de DNNs en dispositivos periféricos. Sin embargo, los métodos de poda adoptados por los marcos existentes son localmente efectivos y los modelos comprimidos son demasiado dispersos. En este documento, diseñamos un marco de inferencia colaborativa nube-periferia basado en la poda de redes para aprovechar al máximo los recursos informáticos limitados en dispositivos periféricos. En nuestro marco, proponemos un método de poda de minimización de sesgo de características consciente de la dispersión para reducir el sesgo de características que ocurre durante la poda de redes y evitar que el modelo podado sea demasiado disperso. Para reducir aún más la latencia de inferencia, consideramos la diferencia en los recursos informáticos entre los dispositivos periféricos y la nube, luego diseñamos una codificación de características asimétrica orientada a tareas para reducir la sobrecarga de comunicación al transmitir datos intermedios. Con experimentos exhaustivos, nuestro marco puede reducir la latencia de extremo a extremo en un 82% a 84% con menos del 1% de pérdida de precisión, en comparación con el marco de inferencia colaborativa nube-periferia con métodos tradicionales, y nuestro marco tiene la menor latencia de extremo a extremo y pérdida de precisión en comparación con otros marcos.