Lipt: mejorando la sintonización de la consulta con la reparametrización tardía de Inception
Autores: He, Yawen; Feng, Ao; Gao, Zhengjie; Song, Xinyu
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Lipt: mejorando la sintonización de la consulta con la reparametrización tardía de Inception
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Ajuste
Modelos de lenguaje grandes
LIPT
Eficiencia
Rendimiento
Indicaciones suaves
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
El ajuste de prompts es una técnica convencional para el ajuste fino de modelos de lenguaje grandes (LLMs), que ofrece ajustes mínimos de parámetros mediante el aprendizaje de vectores de prompts específicos de la tarea. Sin embargo, sufre de costos de entrenamiento debido a la retropropagación en toda la red y un rendimiento más débil en comparación con métodos como adaptadores y LoRA, probablemente debido a la capacidad limitada de los prompts suaves para codificar información específica de la tarea. Este estudio presenta Late Inception Prompt Tuning (LIPT), un enfoque novedoso para el aprendizaje de prompts suaves que mejora el rendimiento y la eficiencia mediante la reducción de los caminos de retropropagación y el uso de una red de cuello de botella multidimensional con mayor capacidad. LIPT supera las técnicas de ajuste de prompts existentes en diversas tareas de referencia, logrando una ganancia del 1.3% sobre LPT y una mejora del 5% en comparación con el ajuste de prompts estándar cuando se aplica a RoBERTa-large, mientras converge más rápidamente. Alcanza una precisión promedio del 90% en diez conjuntos de datos de referencia. Especialmente, en ciertos escenarios, el rendimiento de LIPT se acerca al de los métodos de ajuste fino de parámetros completos. Para evaluar exhaustivamente el ajuste fino eficiente de parámetros (PEFT), proponemos un Indicador de Eficiencia (EI) que equilibra precisión y costo. LIPT es adecuado para tareas de comprensión del lenguaje natural, como análisis de sentimientos y clasificación de texto, con posibles extensiones a modelos y tareas a mayor escala, como generación de texto. Este marco avanza en la escalabilidad y practicidad de los métodos de ajuste fino para diversas aplicaciones.
Descripción
El ajuste de prompts es una técnica convencional para el ajuste fino de modelos de lenguaje grandes (LLMs), que ofrece ajustes mínimos de parámetros mediante el aprendizaje de vectores de prompts específicos de la tarea. Sin embargo, sufre de costos de entrenamiento debido a la retropropagación en toda la red y un rendimiento más débil en comparación con métodos como adaptadores y LoRA, probablemente debido a la capacidad limitada de los prompts suaves para codificar información específica de la tarea. Este estudio presenta Late Inception Prompt Tuning (LIPT), un enfoque novedoso para el aprendizaje de prompts suaves que mejora el rendimiento y la eficiencia mediante la reducción de los caminos de retropropagación y el uso de una red de cuello de botella multidimensional con mayor capacidad. LIPT supera las técnicas de ajuste de prompts existentes en diversas tareas de referencia, logrando una ganancia del 1.3% sobre LPT y una mejora del 5% en comparación con el ajuste de prompts estándar cuando se aplica a RoBERTa-large, mientras converge más rápidamente. Alcanza una precisión promedio del 90% en diez conjuntos de datos de referencia. Especialmente, en ciertos escenarios, el rendimiento de LIPT se acerca al de los métodos de ajuste fino de parámetros completos. Para evaluar exhaustivamente el ajuste fino eficiente de parámetros (PEFT), proponemos un Indicador de Eficiencia (EI) que equilibra precisión y costo. LIPT es adecuado para tareas de comprensión del lenguaje natural, como análisis de sentimientos y clasificación de texto, con posibles extensiones a modelos y tareas a mayor escala, como generación de texto. Este marco avanza en la escalabilidad y practicidad de los métodos de ajuste fino para diversas aplicaciones.