Un nuevo algoritmo para el aprendizaje federado personalizado: destilación de conocimiento con pérdida de combinación ponderada
Autores: Hu, Hengrui; Kothari, Anai N.; Banerjee, Anjishnu
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Un nuevo algoritmo para el aprendizaje federado personalizado: destilación de conocimiento con pérdida de combinación ponderada
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Aprendizaje federado
Marco de preservación de la privacidad
Heterogeneidad estadística
No independiente e idénticamente distribuido
PFedKD-WCL
Destilación de conocimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
El aprendizaje federado (FL) ofrece un marco de preservación de la privacidad para el aprendizaje automático distribuido, permitiendo el entrenamiento colaborativo de modelos entre clientes diversos sin centralizar datos sensibles. Sin embargo, la heterogeneidad estadística, caracterizada por datos de clientes no independientes e idénticamente distribuidos (no-IID), plantea desafíos significativos, lo que lleva a la deriva del modelo y a una mala generalización. Este documento propone un algoritmo novedoso, pFedKD-WCL (Destilación de Conocimiento Federado Personalizado con Pérdida de Combinación Ponderada), que integra la destilación de conocimiento con la optimización de dos niveles para abordar los desafíos no-IID. pFedKD-WCL aprovecha el modelo global actual como profesor para guiar a los modelos locales, optimizando tanto la convergencia global como la personalización local de manera eficiente. Evaluamos pFedKD-WCL en el conjunto de datos MNIST y en un conjunto de datos sintético con particionamiento no-IID, utilizando modelos de regresión logística multinomial (MLR) y perceptrón multicapa (MLP). Los resultados experimentales demuestran que pFedKD-WCL supera a algoritmos de última generación, incluidos FedAvg, FedProx, PerFedAvg, pFedMe y FedGKD en términos de precisión y velocidad de convergencia. Por ejemplo, en datos de MNIST con una configuración no-IID extrema, pFedKD-WCL logra mejoras de precisión de , , , , y para un modelo MLP con 50 clientes en comparación con FedAvg, FedProx, PerFedAvg, pFedMe y FedGKD, respectivamente, mientras que las ganancias alcanzan , , , , y para un modelo MLR con 50 clientes.
Descripción
El aprendizaje federado (FL) ofrece un marco de preservación de la privacidad para el aprendizaje automático distribuido, permitiendo el entrenamiento colaborativo de modelos entre clientes diversos sin centralizar datos sensibles. Sin embargo, la heterogeneidad estadística, caracterizada por datos de clientes no independientes e idénticamente distribuidos (no-IID), plantea desafíos significativos, lo que lleva a la deriva del modelo y a una mala generalización. Este documento propone un algoritmo novedoso, pFedKD-WCL (Destilación de Conocimiento Federado Personalizado con Pérdida de Combinación Ponderada), que integra la destilación de conocimiento con la optimización de dos niveles para abordar los desafíos no-IID. pFedKD-WCL aprovecha el modelo global actual como profesor para guiar a los modelos locales, optimizando tanto la convergencia global como la personalización local de manera eficiente. Evaluamos pFedKD-WCL en el conjunto de datos MNIST y en un conjunto de datos sintético con particionamiento no-IID, utilizando modelos de regresión logística multinomial (MLR) y perceptrón multicapa (MLP). Los resultados experimentales demuestran que pFedKD-WCL supera a algoritmos de última generación, incluidos FedAvg, FedProx, PerFedAvg, pFedMe y FedGKD en términos de precisión y velocidad de convergencia. Por ejemplo, en datos de MNIST con una configuración no-IID extrema, pFedKD-WCL logra mejoras de precisión de , , , , y para un modelo MLP con 50 clientes en comparación con FedAvg, FedProx, PerFedAvg, pFedMe y FedGKD, respectivamente, mientras que las ganancias alcanzan , , , , y para un modelo MLR con 50 clientes.