logo móvil
Contáctanos

Equilibrando privacidad y robustez en el aprendizaje de indicaciones para modelos de lenguaje grandes

Autores: Shi, Chiyu; Su, Junyu; Chu, Chiawei; Wang, Baoping; Feng, Duanyang

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Equilibrando privacidad y robustez en el aprendizaje de indicaciones para modelos de lenguaje grandes


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Privacidad
Procesamiento del Lenguaje Natural
Privacidad diferencial
Entrenamiento adversario
Filtración de información
Tareas de PLN.

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 36

Citaciones: Sin citaciones


Descripción
Este documento aborda el tema crítico de la privacidad en los sistemas de Procesamiento de Lenguaje Natural (NLP) que procesan datos sensibles al introducir un nuevo marco que combina la privacidad diferencial y el entrenamiento adversario. La solución propuesta garantiza formalmente la privacidad al minimizar la influencia de los puntos de datos individuales en el comportamiento del modelo, previniendo efectivamente la fuga de información. Al mismo tiempo, se aplica el entrenamiento adversario para fortalecer la robustez del modelo contra ataques de privacidad al exponerlo a ejemplos adversarios durante el entrenamiento. El marco se evalúa rigurosamente en diversas tareas de NLP, demostrando su capacidad para equilibrar de manera efectiva la preservación de la privacidad con una alta utilidad. Estos resultados marcan un avance significativo en el desarrollo de sistemas de NLP seguros y confiables, especialmente para aplicaciones que requieren una estricta confidencialidad de datos, como la salud y las finanzas.

Otros recursos que podrían interesarte

Temas Virtualpro