BACombo: aprendizaje federado descentralizado consciente del ancho de banda
Autores: Jiang, Jingyan; Hu, Liang; Hu, Chenghao; Liu, Jiate; Wang, Zhi
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
BACombo: aprendizaje federado descentralizado consciente del ancho de banda
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Privacidad de datos
Aprendizaje federado
Capacidades de red
Aprendizaje federado descentralizado
Bandwidth Aware Combo
Tiempo de comunicación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 32
Citaciones: Sin citaciones
La preocupación emergente sobre la privacidad y seguridad de los datos ha motivado la propuesta del aprendizaje federado. El aprendizaje federado permite a los nodos de computación sincronizar solo los modelos entrenados localmente en lugar de sus datos originales en el entrenamiento distribuido. La arquitectura convencional de aprendizaje federado, heredada del diseño del servidor de parámetros, se basa en tipologías altamente centralizadas y grandes anchos de banda de nodos a servidor. Sin embargo, en escenarios reales de aprendizaje federado, las capacidades de red entre los nodos están distribuidas de manera altamente uniforme y son más pequeñas que en los centros de datos. Por lo tanto, cómo utilizar eficientemente las capacidades de red entre los nodos de computación es crucial para el aprendizaje federado convencional. En este documento, proponemos Bandwidth Aware Combo (BACombo), un aprendizaje federado descentralizado a nivel de segmento de modelo, para abordar este problema. En BACombo, proponemos un mecanismo de agregación de chismes segmentado que aprovecha al máximo el ancho de banda de nodo a nodo para acelerar el tiempo de comunicación. Además, un modelo de selección de trabajador consciente del ancho de banda reduce aún más la demora de transmisión al elegir de forma ávida al trabajador con suficiente ancho de banda. Se proporcionan garantías de convergencia para BACombo. Los resultados experimentales en varios conjuntos de datos demuestran que el tiempo de entrenamiento se reduce hasta 18 veces en comparación con los baselines sin degradación de precisión.
Descripción
La preocupación emergente sobre la privacidad y seguridad de los datos ha motivado la propuesta del aprendizaje federado. El aprendizaje federado permite a los nodos de computación sincronizar solo los modelos entrenados localmente en lugar de sus datos originales en el entrenamiento distribuido. La arquitectura convencional de aprendizaje federado, heredada del diseño del servidor de parámetros, se basa en tipologías altamente centralizadas y grandes anchos de banda de nodos a servidor. Sin embargo, en escenarios reales de aprendizaje federado, las capacidades de red entre los nodos están distribuidas de manera altamente uniforme y son más pequeñas que en los centros de datos. Por lo tanto, cómo utilizar eficientemente las capacidades de red entre los nodos de computación es crucial para el aprendizaje federado convencional. En este documento, proponemos Bandwidth Aware Combo (BACombo), un aprendizaje federado descentralizado a nivel de segmento de modelo, para abordar este problema. En BACombo, proponemos un mecanismo de agregación de chismes segmentado que aprovecha al máximo el ancho de banda de nodo a nodo para acelerar el tiempo de comunicación. Además, un modelo de selección de trabajador consciente del ancho de banda reduce aún más la demora de transmisión al elegir de forma ávida al trabajador con suficiente ancho de banda. Se proporcionan garantías de convergencia para BACombo. Los resultados experimentales en varios conjuntos de datos demuestran que el tiempo de entrenamiento se reduce hasta 18 veces en comparación con los baselines sin degradación de precisión.