logo móvil
Contáctanos

Ajuste fino eficiente en parámetros a través de regularización estructural lineal general para adaptación de alto rango

Autores: Zhao, Bo; Ou, Weihua

Idioma: Inglés

Editor: MDPI

Año: 2026

Descargar PDF

Acceso abierto

Artículo científico
2026

Ajuste fino eficiente en parámetros a través de regularización estructural lineal general para adaptación de alto rango


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Ajuste fino eficiente en parámetros
MoRA
GL-log-MoRA
Tareas posteriores
Subespacio de cuello de botella
Estructura espectral

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
La afinación eficiente de parámetros (PEFT) permite que los grandes modelos de lenguaje se adapten a tareas posteriores con un bajo costo computacional. Como un método representativo de PEFT de alto rango, MoRA (Actualización de Alto Rango para la Afinación Eficiente de Parámetros) mejora la expresividad de las actualizaciones a través de un mecanismo de reparametrización de compresión-transformación-descompresión. Sin embargo, su subespacio de cuello de botella todavía se modela utilizando una transformación lineal aprendida libremente. Además, la compresión agrupada puede proyectar información de diferentes direcciones originales en coordenadas de cuello de botella compartidas. Esto puede reducir la separabilidad del subespacio y llevar a una utilización ineficiente del espacio de actualización efectivo. Para abordar esta limitación, proponemos GL-log-MoRA, que introduce una transformación lineal general aprendible en el subespacio de cuello de botella de MoRA y aplica regularización de log-determinante para fomentar una estructura espectral más equilibrada. De esta manera, el método propuesto mejora la coordinación direccional y la expresividad del subespacio sin imponer restricciones estructurales estrictas o causar un aumento notable en el uso de memoria. Evaluamos GL-log-MoRA en cinco benchmarks: LogiQA, Financial PhraseBank, GSM8K, FinQA y HotpotQA. Los resultados muestran que GL-log-MoRA logra el mejor rendimiento en estas tareas posteriores y produce mejoras pequeñas pero consistentes sobre MoRA bajo el mismo presupuesto de parámetros. En comparación con MoRA, GL-log-MoRA mejora LogiQA del 42.50% al 45.45% y Financial PhraseBank del 81.60% al 83.02%. También mejora GSM8K del 63.1% al 64.6%, FinQA del 10.02% al 10.23%, y HotpotQA del 70.6% al 70.8%. Mientras tanto, el indicador promedio de rango efectivo empírico aumenta de 1.05 a 2.80. El pico de memoria GPU cambia solo ligeramente, de 18.21 GB a 18.28 GB.

Otros recursos que podrían interesarte

Temas Virtualpro