logo móvil
Contáctanos

Parámetro de Adaptación de Poda de Rango de Lotería Eficiente de Ajuste Fino

Autores: Kim, Juhyeong; Kim, Gyunyeop; Kang, Sangwoo

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Parámetro de Adaptación de Poda de Rango de Lotería Eficiente de Ajuste Fino


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Estudios
Ajuste fino eficiente de parámetros
LoRA
Adaptación de Poda de Rango de Lotería
LLMs
Tareas posteriores

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 20

Citaciones: Sin citaciones


Descripción
Estudios recientes sobre el ajuste fino eficiente de parámetros (PEFT) han introducido métodos efectivos y eficientes para ajustar modelos de lenguaje grandes (LLMs) en tareas secundarias utilizando menos parámetros de los necesarios en un ajuste fino completo. La adaptación de descomposición de rango bajo (LoRA) reduce significativamente el recuento de parámetros al 0.03% en comparación con el ajuste fino completo, manteniendo un rendimiento satisfactorio al entrenar solo dos parámetros de rango bajo. Sin embargo, aún existen limitaciones debido a la falta de parámetros específicos de la tarea involucrados en el entrenamiento. Para mitigar estos problemas, proponemos el método de Adaptación de Poda de Rango de Lotería (LoRPA), que utiliza la Hipótesis del Boleto de Lotería para podar parámetros menos significativos basados en sus magnitudes después del entrenamiento inicial. Inicialmente, LoRPA entrena con un tamaño de rango relativamente grande y luego aplica la poda para mejorar el rendimiento en el entrenamiento posterior con menos parámetros. Realizamos experimentos para comparar LoRPA con las líneas de base de LoRA, incluido un ajuste con un tamaño de rango relativamente grande. Los resultados experimentales en el conjunto de datos GLUE con RoBERTa demuestran que LoRPA logra resultados comparables en la escala base mientras supera a LoRA con varios tamaños de rango en un 0.04% a 0.74% en una gran escala en múltiples tareas. Además, en tareas de resumen generativo utilizando BART-base en los conjuntos de datos CNN/DailyMail y XSum, LoRPA superó a LoRA en el tamaño de rango estándar y a otros métodos de PEFT en la mayoría de las métricas. Estos resultados validan la eficacia de la poda de lotería para LoRA en tareas de comprensión y generación de lenguaje natural secundarias.

Otros recursos que podrían interesarte

Temas Virtualpro