Mecanismo adaptativo de privacidad diferencial basado en la teoría de la entropía para preservar redes neuronales profundas
Autores: Zhang, Xiangfei; Yang, Feng; Guo, Yu; Yu, Hang; Wang, Zhengxia; Zhang, Qingchen
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Mecanismo adaptativo de privacidad diferencial basado en la teoría de la entropía para preservar redes neuronales profundas
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Redes neuronales profundas
Protección de la privacidad
Privacidad diferencial
Esquema adaptativo
Teoría de la entropía
Datos de entrenamiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
Recientemente, las redes neuronales profundas (DNNs) han logrado cosas emocionantes en muchos campos. Sin embargo, se ha demostrado que los modelos DNN divulgan la privacidad, por lo que es imperativo proteger la información privada de los modelos. La privacidad diferencial es un método prometedor para brindar protección de privacidad para las DNNs. Sin embargo, los modelos DNN existentes basados en la protección de privacidad diferencial suelen inyectar el mismo nivel de ruido en los parámetros, lo que puede llevar a un equilibrio entre el rendimiento del modelo y la protección de la privacidad. En este documento, proponemos un esquema adaptativo de privacidad diferencial basado en la teoría de la entropía para el entrenamiento de DNNs, con el objetivo de tener en cuenta el rendimiento del modelo y proteger la información privada en los datos de entrenamiento. El esquema propuesto perturba los gradientes de acuerdo con la ganancia de información de las neuronas durante el entrenamiento, es decir, en el proceso de retropropagación, se agrega menos ruido a las neuronas con mayor ganancia de información, y viceversa. Experimentos rigurosos realizados en dos conjuntos de datos reales demuestran que el esquema propuesto es altamente efectivo y supera a las soluciones existentes.
Descripción
Recientemente, las redes neuronales profundas (DNNs) han logrado cosas emocionantes en muchos campos. Sin embargo, se ha demostrado que los modelos DNN divulgan la privacidad, por lo que es imperativo proteger la información privada de los modelos. La privacidad diferencial es un método prometedor para brindar protección de privacidad para las DNNs. Sin embargo, los modelos DNN existentes basados en la protección de privacidad diferencial suelen inyectar el mismo nivel de ruido en los parámetros, lo que puede llevar a un equilibrio entre el rendimiento del modelo y la protección de la privacidad. En este documento, proponemos un esquema adaptativo de privacidad diferencial basado en la teoría de la entropía para el entrenamiento de DNNs, con el objetivo de tener en cuenta el rendimiento del modelo y proteger la información privada en los datos de entrenamiento. El esquema propuesto perturba los gradientes de acuerdo con la ganancia de información de las neuronas durante el entrenamiento, es decir, en el proceso de retropropagación, se agrega menos ruido a las neuronas con mayor ganancia de información, y viceversa. Experimentos rigurosos realizados en dos conjuntos de datos reales demuestran que el esquema propuesto es altamente efectivo y supera a las soluciones existentes.