logo móvil
Contáctanos

Red de neuronas distribuida y resistente a fallos de comunicación para dispositivos periféricos

Autores: Jeong, Jonghun; Park, Jong Sung; Yang, Hoeseok

Idioma: Inglés

Editor: MDPI

Año: 2021

Descargar PDF

Acceso abierto

Artículo científico
2021

Red de neuronas distribuida y resistente a fallos de comunicación para dispositivos periféricos


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Necesidad
Redes neuronales
Red neuronal distribuida
Fallos de comunicación
Destilación de conocimiento
Estrategia de particionamiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 38

Citaciones: Sin citaciones


Descripción
Recientemente, la necesidad de ejecutar redes neuronales (NN) de alto rendimiento está aumentando incluso en sistemas embebidos con recursos limitados como dispositivos portátiles. Sin embargo, debido a los altos requisitos computacionales y de memoria de las aplicaciones de NN, suele ser poco factible ejecutarlas en un solo dispositivo. En su lugar, se ha propuesto ejecutar una sola aplicación de NN de forma cooperativa en múltiples dispositivos, una red neuronal distribuida. En la red neuronal distribuida, las cargas de trabajo de una sola aplicación de NN grande se distribuyen en múltiples dispositivos pequeños. Aunque la sobrecarga computacional podría ser aliviada efectivamente por este enfoque, las técnicas de NN distribuidas existentes, como MoDNN, aún sufren de grandes tráficos entre los dispositivos y vulnerabilidad a fallas de comunicación. Para deshacerse de tales grandes sobrecargas de comunicación, se propuso una red neuronal distribuida basada en destilación de conocimiento, llamada Red de Redes Neuronales (NoNN), que divide los filtros en la capa convolucional final de la NN original en múltiples subconjuntos independientes y deriva NN más pequeñas de cada subconjunto. Sin embargo, NoNN también tiene limitaciones en que el resultado de la partición puede ser desequilibrado y compromete considerablemente la correlación entre los filtros en la NN original, lo que puede resultar en una degradación de precisión inaceptable en caso de falla de comunicación. En este documento, para superar estos problemas, proponemos mejorar la estrategia de particionamiento de NoNN en dos aspectos. Primero, mejoramos la redundancia de los filtros que se utilizan para derivar múltiples NN más pequeñas mediante el aumento de la inmunidad de la NN distribuida a fallas de comunicación. Segundo, proponemos una técnica de particionamiento novedosa, modificada a partir del particionamiento basado en eigenvector, para preservar la correlación entre filtros tanto como sea posible, manteniendo el número consistente de filtros distribuidos a cada dispositivo. A lo largo de experimentos extensos con el conjunto de datos CIFAR-100 (Instituto Canadiense de Investigación Avanzada-100), se observó que el enfoque propuesto mantiene una alta precisión de inferencia (más del 70%, mejora de 1.53 veces sobre el enfoque más avanzado), en promedio, incluso cuando la mitad de los ocho dispositivos en una NN distribuida no logran entregar sus resultados parciales de inferencia.

Otros recursos que podrían interesarte

Temas Virtualpro