Privacidad mejorada del aprendizaje federado: un método de privacidad diferencial local restringidamente auto-muestreado y perturbado de datos
Autores: Zhao, Jianzhe; Yang, Mengbo; Zhang, Ronglin; Song, Wuganjing; Zheng, Jiali; Feng, Jingran; Matwin, Stan
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Privacidad mejorada del aprendizaje federado: un método de privacidad diferencial local restringidamente auto-muestreado y perturbado de datos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje federado
Privacidad
Privacidad diferencial
Precisión del modelo
Perturbación de datos
Auto-muestreo del cliente
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 26
Citaciones: Sin citaciones
Como marco de aprendizaje distribuido popular, el aprendizaje federado (FL) permite a los clientes llevar a cabo entrenamientos cooperativos sin compartir datos, teniendo así una mayor seguridad y disfrutando de beneficios en el procesamiento de datos a gran escala y de alta dimensionalidad. Sin embargo, al compartir parámetros en el proceso de aprendizaje federado, el atacante aún puede obtener información privada de los datos sensibles de los participantes mediante el análisis inverso. La privacidad diferencial local (LDP) ha funcionado bien recientemente en la preservación de la privacidad para el aprendizaje federado. Sin embargo, enfrenta el problema inherente de equilibrar la privacidad, el rendimiento del modelo y la eficiencia del algoritmo. En este documento, proponemos un nuevo marco de aprendizaje federado mejorado en privacidad (Optimal LDP-FL) que logra protección de privacidad diferencial local mediante el auto muestreo del cliente y mecanismos de perturbación de datos. Analizamos teóricamente la relación entre la precisión del modelo y la probabilidad de auto muestreo del cliente. Se propone una tecnología de auto muestreo del cliente restrictiva que elimina la aleatoriedad de la configuración de la probabilidad de auto muestreo en estudios existentes y mejora la utilización del sistema federado. También se propone un mecanismo de perturbación de datos LDP optimizado en eficiencia (Adaptive-Harmony), que permite un rango de parámetros adaptativo para reducir la varianza y mejorar la precisión del modelo. Experimentos exhaustivos en los conjuntos de datos MNIST y Fashion MNIST muestran que el método propuesto puede reducir significativamente los costos computacionales y de comunicación con el mismo nivel de privacidad y utilidad del modelo.
Descripción
Como marco de aprendizaje distribuido popular, el aprendizaje federado (FL) permite a los clientes llevar a cabo entrenamientos cooperativos sin compartir datos, teniendo así una mayor seguridad y disfrutando de beneficios en el procesamiento de datos a gran escala y de alta dimensionalidad. Sin embargo, al compartir parámetros en el proceso de aprendizaje federado, el atacante aún puede obtener información privada de los datos sensibles de los participantes mediante el análisis inverso. La privacidad diferencial local (LDP) ha funcionado bien recientemente en la preservación de la privacidad para el aprendizaje federado. Sin embargo, enfrenta el problema inherente de equilibrar la privacidad, el rendimiento del modelo y la eficiencia del algoritmo. En este documento, proponemos un nuevo marco de aprendizaje federado mejorado en privacidad (Optimal LDP-FL) que logra protección de privacidad diferencial local mediante el auto muestreo del cliente y mecanismos de perturbación de datos. Analizamos teóricamente la relación entre la precisión del modelo y la probabilidad de auto muestreo del cliente. Se propone una tecnología de auto muestreo del cliente restrictiva que elimina la aleatoriedad de la configuración de la probabilidad de auto muestreo en estudios existentes y mejora la utilización del sistema federado. También se propone un mecanismo de perturbación de datos LDP optimizado en eficiencia (Adaptive-Harmony), que permite un rango de parámetros adaptativo para reducir la varianza y mejorar la precisión del modelo. Experimentos exhaustivos en los conjuntos de datos MNIST y Fashion MNIST muestran que el método propuesto puede reducir significativamente los costos computacionales y de comunicación con el mismo nivel de privacidad y utilidad del modelo.