Ajuste fino eficiente en parámetros a través de regularización estructural lineal general para adaptación de alto rango
Autores: Zhao, Bo; Ou, Weihua
Idioma: Inglés
Editor: MDPI
Año: 2026
Acceso abierto
Artículo científico
2026
Ajuste fino eficiente en parámetros a través de regularización estructural lineal general para adaptación de alto rango
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Ajuste fino eficiente en parámetros
MoRA
GL-log-MoRA
Tareas posteriores
Subespacio de cuello de botella
Estructura espectral
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La afinación eficiente de parámetros (PEFT) permite que los grandes modelos de lenguaje se adapten a tareas posteriores con un bajo costo computacional. Como un método representativo de PEFT de alto rango, MoRA (Actualización de Alto Rango para la Afinación Eficiente de Parámetros) mejora la expresividad de las actualizaciones a través de un mecanismo de reparametrización de compresión-transformación-descompresión. Sin embargo, su subespacio de cuello de botella todavía se modela utilizando una transformación lineal aprendida libremente. Además, la compresión agrupada puede proyectar información de diferentes direcciones originales en coordenadas de cuello de botella compartidas. Esto puede reducir la separabilidad del subespacio y llevar a una utilización ineficiente del espacio de actualización efectivo. Para abordar esta limitación, proponemos GL-log-MoRA, que introduce una transformación lineal general aprendible en el subespacio de cuello de botella de MoRA y aplica regularización de log-determinante para fomentar una estructura espectral más equilibrada. De esta manera, el método propuesto mejora la coordinación direccional y la expresividad del subespacio sin imponer restricciones estructurales estrictas o causar un aumento notable en el uso de memoria. Evaluamos GL-log-MoRA en cinco benchmarks: LogiQA, Financial PhraseBank, GSM8K, FinQA y HotpotQA. Los resultados muestran que GL-log-MoRA logra el mejor rendimiento en estas tareas posteriores y produce mejoras pequeñas pero consistentes sobre MoRA bajo el mismo presupuesto de parámetros. En comparación con MoRA, GL-log-MoRA mejora LogiQA del 42.50% al 45.45% y Financial PhraseBank del 81.60% al 83.02%. También mejora GSM8K del 63.1% al 64.6%, FinQA del 10.02% al 10.23%, y HotpotQA del 70.6% al 70.8%. Mientras tanto, el indicador promedio de rango efectivo empírico aumenta de 1.05 a 2.80. El pico de memoria GPU cambia solo ligeramente, de 18.21 GB a 18.28 GB.
Descripción
La afinación eficiente de parámetros (PEFT) permite que los grandes modelos de lenguaje se adapten a tareas posteriores con un bajo costo computacional. Como un método representativo de PEFT de alto rango, MoRA (Actualización de Alto Rango para la Afinación Eficiente de Parámetros) mejora la expresividad de las actualizaciones a través de un mecanismo de reparametrización de compresión-transformación-descompresión. Sin embargo, su subespacio de cuello de botella todavía se modela utilizando una transformación lineal aprendida libremente. Además, la compresión agrupada puede proyectar información de diferentes direcciones originales en coordenadas de cuello de botella compartidas. Esto puede reducir la separabilidad del subespacio y llevar a una utilización ineficiente del espacio de actualización efectivo. Para abordar esta limitación, proponemos GL-log-MoRA, que introduce una transformación lineal general aprendible en el subespacio de cuello de botella de MoRA y aplica regularización de log-determinante para fomentar una estructura espectral más equilibrada. De esta manera, el método propuesto mejora la coordinación direccional y la expresividad del subespacio sin imponer restricciones estructurales estrictas o causar un aumento notable en el uso de memoria. Evaluamos GL-log-MoRA en cinco benchmarks: LogiQA, Financial PhraseBank, GSM8K, FinQA y HotpotQA. Los resultados muestran que GL-log-MoRA logra el mejor rendimiento en estas tareas posteriores y produce mejoras pequeñas pero consistentes sobre MoRA bajo el mismo presupuesto de parámetros. En comparación con MoRA, GL-log-MoRA mejora LogiQA del 42.50% al 45.45% y Financial PhraseBank del 81.60% al 83.02%. También mejora GSM8K del 63.1% al 64.6%, FinQA del 10.02% al 10.23%, y HotpotQA del 70.6% al 70.8%. Mientras tanto, el indicador promedio de rango efectivo empírico aumenta de 1.05 a 2.80. El pico de memoria GPU cambia solo ligeramente, de 18.21 GB a 18.28 GB.