logo móvil
Contáctanos

Lipt: mejorando la sintonización de la consulta con la reparametrización tardía de Inception

Autores: He, Yawen; Feng, Ao; Gao, Zhengjie; Song, Xinyu

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Lipt: mejorando la sintonización de la consulta con la reparametrización tardía de Inception


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Ajuste
Modelos de lenguaje grandes
LIPT
Eficiencia
Rendimiento
Indicaciones suaves

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 36

Citaciones: Sin citaciones


Descripción
El ajuste de prompts es una técnica convencional para el ajuste fino de modelos de lenguaje grandes (LLMs), que ofrece ajustes mínimos de parámetros mediante el aprendizaje de vectores de prompts específicos de la tarea. Sin embargo, sufre de costos de entrenamiento debido a la retropropagación en toda la red y un rendimiento más débil en comparación con métodos como adaptadores y LoRA, probablemente debido a la capacidad limitada de los prompts suaves para codificar información específica de la tarea. Este estudio presenta Late Inception Prompt Tuning (LIPT), un enfoque novedoso para el aprendizaje de prompts suaves que mejora el rendimiento y la eficiencia mediante la reducción de los caminos de retropropagación y el uso de una red de cuello de botella multidimensional con mayor capacidad. LIPT supera las técnicas de ajuste de prompts existentes en diversas tareas de referencia, logrando una ganancia del 1.3% sobre LPT y una mejora del 5% en comparación con el ajuste de prompts estándar cuando se aplica a RoBERTa-large, mientras converge más rápidamente. Alcanza una precisión promedio del 90% en diez conjuntos de datos de referencia. Especialmente, en ciertos escenarios, el rendimiento de LIPT se acerca al de los métodos de ajuste fino de parámetros completos. Para evaluar exhaustivamente el ajuste fino eficiente de parámetros (PEFT), proponemos un Indicador de Eficiencia (EI) que equilibra precisión y costo. LIPT es adecuado para tareas de comprensión del lenguaje natural, como análisis de sentimientos y clasificación de texto, con posibles extensiones a modelos y tareas a mayor escala, como generación de texto. Este marco avanza en la escalabilidad y practicidad de los métodos de ajuste fino para diversas aplicaciones.

Otros recursos que podrían interesarte

Temas Virtualpro