Inferencia acelerada con partición adaptativa de DNN distribuido sobre transmisión de video dinámico
Autores: Cao, Jin; Li, Bo; Fan, Mengni; Liu, Huiyu
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Inferencia acelerada con partición adaptativa de DNN distribuido sobre transmisión de video dinámico
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Red neuronal profunda
Aplicaciones de visión por computadora
Servicios inteligentes
Dispositivos IoT
Método de partición de DNN
Análisis de video
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 23
Citaciones: Sin citaciones
Las aplicaciones de visión por computadora basadas en redes neuronales profundas han explotado y se utilizan ampliamente en servicios inteligentes para dispositivos IoT. Debido a la naturaleza intensiva en cómputo de las DNN, la implementación y ejecución de aplicaciones inteligentes en escenarios inteligentes enfrentan el desafío de recursos limitados en los dispositivos. Las estrategias existentes de programación de trabajos se centran en un solo aspecto y tienen un soporte limitado para escenarios de dispositivos finales a gran escala. En este documento, presentamos ADDP, un método adaptativo de partición distribuida de DNN que soporta el análisis de video en cámaras inteligentes a gran escala. ADDP se aplica a los modelos de DNN comúnmente utilizados para visión por computadora y contiene un módulo de partición de capa de mapa de características (FLP) que soporta la partición colaborativa de extremo a extremo del modelo y un módulo de partición de tamaño de mapa de características (FSP) que soporta inferencia paralela en múltiples dispositivos. Basado en el objetivo de minimización del retraso de inferencia, FLP y FSP logran un equilibrio entre los recursos aritméticos y de comunicación de diferentes dispositivos. Validamos ADDP en dispositivos heterogéneos y mostramos que tanto el módulo FLP como el módulo FSP superan a los enfoques existentes y reducen la latencia de respuesta de un solo fotograma en un 10-25% en comparación con el procesamiento puro en el dispositivo.
Descripción
Las aplicaciones de visión por computadora basadas en redes neuronales profundas han explotado y se utilizan ampliamente en servicios inteligentes para dispositivos IoT. Debido a la naturaleza intensiva en cómputo de las DNN, la implementación y ejecución de aplicaciones inteligentes en escenarios inteligentes enfrentan el desafío de recursos limitados en los dispositivos. Las estrategias existentes de programación de trabajos se centran en un solo aspecto y tienen un soporte limitado para escenarios de dispositivos finales a gran escala. En este documento, presentamos ADDP, un método adaptativo de partición distribuida de DNN que soporta el análisis de video en cámaras inteligentes a gran escala. ADDP se aplica a los modelos de DNN comúnmente utilizados para visión por computadora y contiene un módulo de partición de capa de mapa de características (FLP) que soporta la partición colaborativa de extremo a extremo del modelo y un módulo de partición de tamaño de mapa de características (FSP) que soporta inferencia paralela en múltiples dispositivos. Basado en el objetivo de minimización del retraso de inferencia, FLP y FSP logran un equilibrio entre los recursos aritméticos y de comunicación de diferentes dispositivos. Validamos ADDP en dispositivos heterogéneos y mostramos que tanto el módulo FLP como el módulo FSP superan a los enfoques existentes y reducen la latencia de respuesta de un solo fotograma en un 10-25% en comparación con el procesamiento puro en el dispositivo.