Red de neuronas distribuida y resistente a fallos de comunicación para dispositivos periféricos
Autores: Jeong, Jonghun; Park, Jong Sung; Yang, Hoeseok
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Red de neuronas distribuida y resistente a fallos de comunicación para dispositivos periféricos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Necesidad
Redes neuronales
Red neuronal distribuida
Fallos de comunicación
Destilación de conocimiento
Estrategia de particionamiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
Recientemente, la necesidad de ejecutar redes neuronales (NN) de alto rendimiento está aumentando incluso en sistemas embebidos con recursos limitados como dispositivos portátiles. Sin embargo, debido a los altos requisitos computacionales y de memoria de las aplicaciones de NN, suele ser poco factible ejecutarlas en un solo dispositivo. En su lugar, se ha propuesto ejecutar una sola aplicación de NN de forma cooperativa en múltiples dispositivos, una red neuronal distribuida. En la red neuronal distribuida, las cargas de trabajo de una sola aplicación de NN grande se distribuyen en múltiples dispositivos pequeños. Aunque la sobrecarga computacional podría ser aliviada efectivamente por este enfoque, las técnicas de NN distribuidas existentes, como MoDNN, aún sufren de grandes tráficos entre los dispositivos y vulnerabilidad a fallas de comunicación. Para deshacerse de tales grandes sobrecargas de comunicación, se propuso una red neuronal distribuida basada en destilación de conocimiento, llamada Red de Redes Neuronales (NoNN), que divide los filtros en la capa convolucional final de la NN original en múltiples subconjuntos independientes y deriva NN más pequeñas de cada subconjunto. Sin embargo, NoNN también tiene limitaciones en que el resultado de la partición puede ser desequilibrado y compromete considerablemente la correlación entre los filtros en la NN original, lo que puede resultar en una degradación de precisión inaceptable en caso de falla de comunicación. En este documento, para superar estos problemas, proponemos mejorar la estrategia de particionamiento de NoNN en dos aspectos. Primero, mejoramos la redundancia de los filtros que se utilizan para derivar múltiples NN más pequeñas mediante el aumento de la inmunidad de la NN distribuida a fallas de comunicación. Segundo, proponemos una técnica de particionamiento novedosa, modificada a partir del particionamiento basado en eigenvector, para preservar la correlación entre filtros tanto como sea posible, manteniendo el número consistente de filtros distribuidos a cada dispositivo. A lo largo de experimentos extensos con el conjunto de datos CIFAR-100 (Instituto Canadiense de Investigación Avanzada-100), se observó que el enfoque propuesto mantiene una alta precisión de inferencia (más del 70%, mejora de 1.53 veces sobre el enfoque más avanzado), en promedio, incluso cuando la mitad de los ocho dispositivos en una NN distribuida no logran entregar sus resultados parciales de inferencia.
Descripción
Recientemente, la necesidad de ejecutar redes neuronales (NN) de alto rendimiento está aumentando incluso en sistemas embebidos con recursos limitados como dispositivos portátiles. Sin embargo, debido a los altos requisitos computacionales y de memoria de las aplicaciones de NN, suele ser poco factible ejecutarlas en un solo dispositivo. En su lugar, se ha propuesto ejecutar una sola aplicación de NN de forma cooperativa en múltiples dispositivos, una red neuronal distribuida. En la red neuronal distribuida, las cargas de trabajo de una sola aplicación de NN grande se distribuyen en múltiples dispositivos pequeños. Aunque la sobrecarga computacional podría ser aliviada efectivamente por este enfoque, las técnicas de NN distribuidas existentes, como MoDNN, aún sufren de grandes tráficos entre los dispositivos y vulnerabilidad a fallas de comunicación. Para deshacerse de tales grandes sobrecargas de comunicación, se propuso una red neuronal distribuida basada en destilación de conocimiento, llamada Red de Redes Neuronales (NoNN), que divide los filtros en la capa convolucional final de la NN original en múltiples subconjuntos independientes y deriva NN más pequeñas de cada subconjunto. Sin embargo, NoNN también tiene limitaciones en que el resultado de la partición puede ser desequilibrado y compromete considerablemente la correlación entre los filtros en la NN original, lo que puede resultar en una degradación de precisión inaceptable en caso de falla de comunicación. En este documento, para superar estos problemas, proponemos mejorar la estrategia de particionamiento de NoNN en dos aspectos. Primero, mejoramos la redundancia de los filtros que se utilizan para derivar múltiples NN más pequeñas mediante el aumento de la inmunidad de la NN distribuida a fallas de comunicación. Segundo, proponemos una técnica de particionamiento novedosa, modificada a partir del particionamiento basado en eigenvector, para preservar la correlación entre filtros tanto como sea posible, manteniendo el número consistente de filtros distribuidos a cada dispositivo. A lo largo de experimentos extensos con el conjunto de datos CIFAR-100 (Instituto Canadiense de Investigación Avanzada-100), se observó que el enfoque propuesto mantiene una alta precisión de inferencia (más del 70%, mejora de 1.53 veces sobre el enfoque más avanzado), en promedio, incluso cuando la mitad de los ocho dispositivos en una NN distribuida no logran entregar sus resultados parciales de inferencia.