Equilibrando privacidad y robustez en el aprendizaje de indicaciones para modelos de lenguaje grandes
Autores: Shi, Chiyu; Su, Junyu; Chu, Chiawei; Wang, Baoping; Feng, Duanyang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Equilibrando privacidad y robustez en el aprendizaje de indicaciones para modelos de lenguaje grandes
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Privacidad
Procesamiento del Lenguaje Natural
Privacidad diferencial
Entrenamiento adversario
Filtración de información
Tareas de PLN.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
Este documento aborda el tema crítico de la privacidad en los sistemas de Procesamiento de Lenguaje Natural (NLP) que procesan datos sensibles al introducir un nuevo marco que combina la privacidad diferencial y el entrenamiento adversario. La solución propuesta garantiza formalmente la privacidad al minimizar la influencia de los puntos de datos individuales en el comportamiento del modelo, previniendo efectivamente la fuga de información. Al mismo tiempo, se aplica el entrenamiento adversario para fortalecer la robustez del modelo contra ataques de privacidad al exponerlo a ejemplos adversarios durante el entrenamiento. El marco se evalúa rigurosamente en diversas tareas de NLP, demostrando su capacidad para equilibrar de manera efectiva la preservación de la privacidad con una alta utilidad. Estos resultados marcan un avance significativo en el desarrollo de sistemas de NLP seguros y confiables, especialmente para aplicaciones que requieren una estricta confidencialidad de datos, como la salud y las finanzas.
Descripción
Este documento aborda el tema crítico de la privacidad en los sistemas de Procesamiento de Lenguaje Natural (NLP) que procesan datos sensibles al introducir un nuevo marco que combina la privacidad diferencial y el entrenamiento adversario. La solución propuesta garantiza formalmente la privacidad al minimizar la influencia de los puntos de datos individuales en el comportamiento del modelo, previniendo efectivamente la fuga de información. Al mismo tiempo, se aplica el entrenamiento adversario para fortalecer la robustez del modelo contra ataques de privacidad al exponerlo a ejemplos adversarios durante el entrenamiento. El marco se evalúa rigurosamente en diversas tareas de NLP, demostrando su capacidad para equilibrar de manera efectiva la preservación de la privacidad con una alta utilidad. Estos resultados marcan un avance significativo en el desarrollo de sistemas de NLP seguros y confiables, especialmente para aplicaciones que requieren una estricta confidencialidad de datos, como la salud y las finanzas.