Parámetro de Adaptación de Poda de Rango de Lotería Eficiente de Ajuste Fino
Autores: Kim, Juhyeong; Kim, Gyunyeop; Kang, Sangwoo
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Parámetro de Adaptación de Poda de Rango de Lotería Eficiente de Ajuste Fino
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Estudios
Ajuste fino eficiente de parámetros
LoRA
Adaptación de Poda de Rango de Lotería
LLMs
Tareas posteriores
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 20
Citaciones: Sin citaciones
Estudios recientes sobre el ajuste fino eficiente de parámetros (PEFT) han introducido métodos efectivos y eficientes para ajustar modelos de lenguaje grandes (LLMs) en tareas secundarias utilizando menos parámetros de los necesarios en un ajuste fino completo. La adaptación de descomposición de rango bajo (LoRA) reduce significativamente el recuento de parámetros al 0.03% en comparación con el ajuste fino completo, manteniendo un rendimiento satisfactorio al entrenar solo dos parámetros de rango bajo. Sin embargo, aún existen limitaciones debido a la falta de parámetros específicos de la tarea involucrados en el entrenamiento. Para mitigar estos problemas, proponemos el método de Adaptación de Poda de Rango de Lotería (LoRPA), que utiliza la Hipótesis del Boleto de Lotería para podar parámetros menos significativos basados en sus magnitudes después del entrenamiento inicial. Inicialmente, LoRPA entrena con un tamaño de rango relativamente grande y luego aplica la poda para mejorar el rendimiento en el entrenamiento posterior con menos parámetros. Realizamos experimentos para comparar LoRPA con las líneas de base de LoRA, incluido un ajuste con un tamaño de rango relativamente grande. Los resultados experimentales en el conjunto de datos GLUE con RoBERTa demuestran que LoRPA logra resultados comparables en la escala base mientras supera a LoRA con varios tamaños de rango en un 0.04% a 0.74% en una gran escala en múltiples tareas. Además, en tareas de resumen generativo utilizando BART-base en los conjuntos de datos CNN/DailyMail y XSum, LoRPA superó a LoRA en el tamaño de rango estándar y a otros métodos de PEFT en la mayoría de las métricas. Estos resultados validan la eficacia de la poda de lotería para LoRA en tareas de comprensión y generación de lenguaje natural secundarias.
Descripción
Estudios recientes sobre el ajuste fino eficiente de parámetros (PEFT) han introducido métodos efectivos y eficientes para ajustar modelos de lenguaje grandes (LLMs) en tareas secundarias utilizando menos parámetros de los necesarios en un ajuste fino completo. La adaptación de descomposición de rango bajo (LoRA) reduce significativamente el recuento de parámetros al 0.03% en comparación con el ajuste fino completo, manteniendo un rendimiento satisfactorio al entrenar solo dos parámetros de rango bajo. Sin embargo, aún existen limitaciones debido a la falta de parámetros específicos de la tarea involucrados en el entrenamiento. Para mitigar estos problemas, proponemos el método de Adaptación de Poda de Rango de Lotería (LoRPA), que utiliza la Hipótesis del Boleto de Lotería para podar parámetros menos significativos basados en sus magnitudes después del entrenamiento inicial. Inicialmente, LoRPA entrena con un tamaño de rango relativamente grande y luego aplica la poda para mejorar el rendimiento en el entrenamiento posterior con menos parámetros. Realizamos experimentos para comparar LoRPA con las líneas de base de LoRA, incluido un ajuste con un tamaño de rango relativamente grande. Los resultados experimentales en el conjunto de datos GLUE con RoBERTa demuestran que LoRPA logra resultados comparables en la escala base mientras supera a LoRA con varios tamaños de rango en un 0.04% a 0.74% en una gran escala en múltiples tareas. Además, en tareas de resumen generativo utilizando BART-base en los conjuntos de datos CNN/DailyMail y XSum, LoRPA superó a LoRA en el tamaño de rango estándar y a otros métodos de PEFT en la mayoría de las métricas. Estos resultados validan la eficacia de la poda de lotería para LoRA en tareas de comprensión y generación de lenguaje natural secundarias.