Fed2A: mecanismo de aprendizaje federado en modos asíncrono y adaptativo
Autores: Liu, Sheng; Chen, Qiyang; You, Linlin
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Fed2A: mecanismo de aprendizaje federado en modos asíncrono y adaptativo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Tecnologías emergentes
Computación en el borde
Internet de las cosas
Aprendizaje Federado
Paradigma de aprendizaje descentralizado
Redes neuronales profundas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
Impulsado por tecnologías emergentes como el cómputo en el borde y el Internet de las cosas (IoT), los últimos años han sido testigos del crecimiento creciente del procesamiento de datos de manera distribuida. El Aprendizaje Federado (FL), un novedoso paradigma de aprendizaje descentralizado que puede unificar dispositivos masivos para entrenar un modelo global sin comprometer la privacidad, está atrayendo mucha atención tanto de académicos como de industrias. Sin embargo, la disminución del rendimiento de FL al ejecutarse en un entorno heterogéneo y asíncrono obstaculiza sus amplias aplicaciones, como en la conducción autónoma y la atención médica asistida. Motivados por esto, proponemos un mecanismo novedoso, llamado Fed2A: Mecanismo de aprendizaje federado en modos asíncronos y adaptativos. Fed2A apoya a FL al (1) permitir que los clientes y el colaborador trabajen por separado y de manera asíncrona, (2) subir capas superficiales y profundas de redes neuronales profundas (DNN) de manera adaptativa, y (3) agregar parámetros locales pesando en la frescura de la información y la consistencia representacional de las capas del modelo en conjunto. Además, la efectividad y eficiencia de Fed2A también se analizan en base a tres conjuntos de datos estándar, es decir, FMNIST, CIFAR-10 y GermanTS. En comparación con el mejor rendimiento entre tres baselines, es decir, FedAvg, FedProx y FedAsync, Fed2A puede reducir el costo de comunicación en más del 77%, así como mejorar la precisión del modelo y la velocidad de aprendizaje en más del 19% y 76%, respectivamente.
Descripción
Impulsado por tecnologías emergentes como el cómputo en el borde y el Internet de las cosas (IoT), los últimos años han sido testigos del crecimiento creciente del procesamiento de datos de manera distribuida. El Aprendizaje Federado (FL), un novedoso paradigma de aprendizaje descentralizado que puede unificar dispositivos masivos para entrenar un modelo global sin comprometer la privacidad, está atrayendo mucha atención tanto de académicos como de industrias. Sin embargo, la disminución del rendimiento de FL al ejecutarse en un entorno heterogéneo y asíncrono obstaculiza sus amplias aplicaciones, como en la conducción autónoma y la atención médica asistida. Motivados por esto, proponemos un mecanismo novedoso, llamado Fed2A: Mecanismo de aprendizaje federado en modos asíncronos y adaptativos. Fed2A apoya a FL al (1) permitir que los clientes y el colaborador trabajen por separado y de manera asíncrona, (2) subir capas superficiales y profundas de redes neuronales profundas (DNN) de manera adaptativa, y (3) agregar parámetros locales pesando en la frescura de la información y la consistencia representacional de las capas del modelo en conjunto. Además, la efectividad y eficiencia de Fed2A también se analizan en base a tres conjuntos de datos estándar, es decir, FMNIST, CIFAR-10 y GermanTS. En comparación con el mejor rendimiento entre tres baselines, es decir, FedAvg, FedProx y FedAsync, Fed2A puede reducir el costo de comunicación en más del 77%, así como mejorar la precisión del modelo y la velocidad de aprendizaje en más del 19% y 76%, respectivamente.