Análisis de recursos de hardware en entrenamiento distribuido con dispositivos de borde
Autores: Park, Sihyeong; Lee, Jemin; Kim, Hyungshin
Idioma: Inglés
Editor: MDPI
Año: 2019
Acceso abierto
Artículo científico
2019
Análisis de recursos de hardware en entrenamiento distribuido con dispositivos de borde
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Entrenamiento distribuido
Recursos de hardware
Dispositivos periféricos
Uso de memoria
Tamaño del lote
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
Al entrenar un modelo de aprendizaje profundo con entrenamiento distribuido, la utilización de recursos de hardware de cada dispositivo depende de la estructura del modelo y del número de dispositivos utilizados para el entrenamiento. El entrenamiento distribuido se ha aplicado recientemente a la informática en el borde. Dado que los dispositivos en el borde tienen limitaciones de recursos de hardware como la memoria, es necesario utilizar métodos de entrenamiento que utilicen los recursos de hardware de manera eficiente. La investigación previa se centró en reducir el tiempo de entrenamiento optimizando el proceso de sincronización entre dispositivos en el borde o comprimiendo los modelos. En este documento, monitoreamos el uso de recursos de hardware basado en el número de capas y el tamaño del lote del modelo durante el entrenamiento distribuido con dispositivos en el borde. Analizamos el uso de memoria y la variabilidad del tiempo de entrenamiento a medida que aumentaba el tamaño del lote y el número de capas. Los resultados experimentales demostraron que, cuanto mayor es el tamaño del lote, menos sincronizaciones entre dispositivos, lo que resulta en un entrenamiento menos preciso. En el modelo superficial, el tiempo de entrenamiento aumentó a medida que aumentaba el número de dispositivos utilizados para el entrenamiento porque la sincronización entre dispositivos llevaba más tiempo que el tiempo de computación del entrenamiento. Este documento encuentra que el uso eficiente de los recursos de hardware para el entrenamiento distribuido requiere seleccionar dispositivos en el contexto de la complejidad del modelo y que se requieren menos capas y lotes más pequeños para un uso eficiente del hardware.
Descripción
Al entrenar un modelo de aprendizaje profundo con entrenamiento distribuido, la utilización de recursos de hardware de cada dispositivo depende de la estructura del modelo y del número de dispositivos utilizados para el entrenamiento. El entrenamiento distribuido se ha aplicado recientemente a la informática en el borde. Dado que los dispositivos en el borde tienen limitaciones de recursos de hardware como la memoria, es necesario utilizar métodos de entrenamiento que utilicen los recursos de hardware de manera eficiente. La investigación previa se centró en reducir el tiempo de entrenamiento optimizando el proceso de sincronización entre dispositivos en el borde o comprimiendo los modelos. En este documento, monitoreamos el uso de recursos de hardware basado en el número de capas y el tamaño del lote del modelo durante el entrenamiento distribuido con dispositivos en el borde. Analizamos el uso de memoria y la variabilidad del tiempo de entrenamiento a medida que aumentaba el tamaño del lote y el número de capas. Los resultados experimentales demostraron que, cuanto mayor es el tamaño del lote, menos sincronizaciones entre dispositivos, lo que resulta en un entrenamiento menos preciso. En el modelo superficial, el tiempo de entrenamiento aumentó a medida que aumentaba el número de dispositivos utilizados para el entrenamiento porque la sincronización entre dispositivos llevaba más tiempo que el tiempo de computación del entrenamiento. Este documento encuentra que el uso eficiente de los recursos de hardware para el entrenamiento distribuido requiere seleccionar dispositivos en el contexto de la complejidad del modelo y que se requieren menos capas y lotes más pequeños para un uso eficiente del hardware.