Aprendizaje federado personalizado que incorpora la poda adaptativa del modelo en el borde
Autores: Zhou, Yueying; Duan, Gaoxiang; Qiu, Tianchen; Zhang, Lin; Tian, Li; Zheng, Xiaoying; Zhu, Yongxin
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Aprendizaje federado personalizado que incorpora la poda adaptativa del modelo en el borde
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Dispositivos periféricos
Aprendizaje federado
Desafío de datos no IID
Aprendizaje federado personalizado
Poda adaptativa
Modelos dispersos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 43
Citaciones: Sin citaciones
Los dispositivos periféricos que emplean el aprendizaje federado encuentran varios obstáculos, como (1) la naturaleza no independiente e idénticamente distribuida (Non-IID) de los datos del cliente, (2) limitaciones debido a cuellos de botella de comunicación y (3) restricciones en los recursos computacionales. Para superar el desafío de los datos Non-IID, se ha introducido el aprendizaje federado personalizado, que implica entrenar redes adaptadas en el borde; sin embargo, estos métodos a menudo muestran inconsistencias en el rendimiento. En respuesta a estas preocupaciones, se propone en este documento un nuevo marco para el aprendizaje federado personalizado que incorpora la poda adaptativa de datos en el borde. Este enfoque, a través de un proceso de poda en dos etapas, crea modelos personalizados asegurando fuertes capacidades de generalización. Al mismo tiempo, al utilizar modelos dispersos, condensa significativamente los parámetros del modelo, disminuyendo notablemente tanto la carga computacional como la sobrecarga de comunicación en los nodos del borde. Este método logra una notable relación de compresión del 3.7% en el conjunto de datos Non-IID FEMNIST, manteniendo la precisión del entrenamiento casi sin cambios. Además, la duración total del entrenamiento se reduce en un 46.4% en comparación con el método de referencia estándar.
Descripción
Los dispositivos periféricos que emplean el aprendizaje federado encuentran varios obstáculos, como (1) la naturaleza no independiente e idénticamente distribuida (Non-IID) de los datos del cliente, (2) limitaciones debido a cuellos de botella de comunicación y (3) restricciones en los recursos computacionales. Para superar el desafío de los datos Non-IID, se ha introducido el aprendizaje federado personalizado, que implica entrenar redes adaptadas en el borde; sin embargo, estos métodos a menudo muestran inconsistencias en el rendimiento. En respuesta a estas preocupaciones, se propone en este documento un nuevo marco para el aprendizaje federado personalizado que incorpora la poda adaptativa de datos en el borde. Este enfoque, a través de un proceso de poda en dos etapas, crea modelos personalizados asegurando fuertes capacidades de generalización. Al mismo tiempo, al utilizar modelos dispersos, condensa significativamente los parámetros del modelo, disminuyendo notablemente tanto la carga computacional como la sobrecarga de comunicación en los nodos del borde. Este método logra una notable relación de compresión del 3.7% en el conjunto de datos Non-IID FEMNIST, manteniendo la precisión del entrenamiento casi sin cambios. Además, la duración total del entrenamiento se reduce en un 46.4% en comparación con el método de referencia estándar.