Un método personalizado de aprendizaje federado basado en destilación de conocimiento y privacidad diferencial
Autores: Jiang, Yingrui; Zhao, Xuejian; Li, Hao; Xue, Yu
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un método personalizado de aprendizaje federado basado en destilación de conocimiento y privacidad diferencial
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje federado
Protección de privacidad
Privacidad diferencial
Destilación de conocimiento
Datos no independientes e idénticamente distribuidos
Optimización del rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
El aprendizaje federado permite que los datos permanezcan descentralizados y que varios dispositivos trabajen juntos para entrenar un modelo común de aprendizaje automático. Este método mantiene los datos sensibles en los dispositivos locales, protegiendo la privacidad. Sin embargo, la protección de la privacidad y los datos no independientes e idénticamente distribuidos son desafíos significativos para muchas técnicas de aprendizaje federado actualmente en uso. Este documento propone un método de aprendizaje federado personalizado (FedKADP) que integra la destilación de conocimiento y la privacidad diferencial para abordar los problemas de protección de la privacidad y los datos no independientes e idénticamente distribuidos en el aprendizaje federado. La introducción de un mecanismo de retroalimentación bidireccional permite el establecimiento de un bucle de ajuste interactivo entre la destilación de conocimiento y la privacidad diferencial, lo que permite un ajuste dinámico y una optimización continua del rendimiento mientras se protege la privacidad del usuario. Al monitorear de cerca el costo adicional de privacidad a través de la teoría de privacidad diferencial de Rényi, este enfoque equilibra de manera efectiva el rendimiento del modelo y la protección de la privacidad. Los resultados experimentales utilizando los conjuntos de datos MNIST y CIFAR-10 demuestran que FedKADP funciona mejor que las técnicas convencionales de aprendizaje federado, especialmente al manejar datos no independientes e idénticamente distribuidos. Logra reducir con éxito la heterogeneidad del modelo, acelera la convergencia del modelo global y mejora la precisión de validación, convirtiéndose en un nuevo enfoque para el aprendizaje federado.
Descripción
El aprendizaje federado permite que los datos permanezcan descentralizados y que varios dispositivos trabajen juntos para entrenar un modelo común de aprendizaje automático. Este método mantiene los datos sensibles en los dispositivos locales, protegiendo la privacidad. Sin embargo, la protección de la privacidad y los datos no independientes e idénticamente distribuidos son desafíos significativos para muchas técnicas de aprendizaje federado actualmente en uso. Este documento propone un método de aprendizaje federado personalizado (FedKADP) que integra la destilación de conocimiento y la privacidad diferencial para abordar los problemas de protección de la privacidad y los datos no independientes e idénticamente distribuidos en el aprendizaje federado. La introducción de un mecanismo de retroalimentación bidireccional permite el establecimiento de un bucle de ajuste interactivo entre la destilación de conocimiento y la privacidad diferencial, lo que permite un ajuste dinámico y una optimización continua del rendimiento mientras se protege la privacidad del usuario. Al monitorear de cerca el costo adicional de privacidad a través de la teoría de privacidad diferencial de Rényi, este enfoque equilibra de manera efectiva el rendimiento del modelo y la protección de la privacidad. Los resultados experimentales utilizando los conjuntos de datos MNIST y CIFAR-10 demuestran que FedKADP funciona mejor que las técnicas convencionales de aprendizaje federado, especialmente al manejar datos no independientes e idénticamente distribuidos. Logra reducir con éxito la heterogeneidad del modelo, acelera la convergencia del modelo global y mejora la precisión de validación, convirtiéndose en un nuevo enfoque para el aprendizaje federado.