logo móvil
Contáctanos

Método eficiente de ajuste fino de parámetros para sistemas de diálogo orientados a tareas

Autores: Mo, Yunho; Yoo, Joon; Kang, Sangwoo

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Método eficiente de ajuste fino de parámetros para sistemas de diálogo orientados a tareas


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Modelos de lenguaje preentrenados basados en transformadores
Sistemas de diálogo orientados a tareas
PEFTTOD
Método de Ajuste Fino Eficiente de Parámetros
Conjunto de datos Multi-WOZ 2.0

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 42

Citaciones: Sin citaciones


Descripción
El uso de modelos de lenguaje preentrenados basados en Transformer se ha vuelto prevalente en mejorar el rendimiento de los sistemas de diálogo orientados a tareas. Estos modelos, que se preentrenan en grandes conjuntos de datos de texto para comprender la sintaxis y semántica del lenguaje, ajustan finamente el conjunto de parámetros completo según una tarea específica. Sin embargo, a medida que aumenta la escala del modelo de lenguaje preentrenado, surgen varios desafíos durante el proceso de ajuste fino. Por ejemplo, el tiempo de entrenamiento se incrementa a medida que crece la escala del modelo, ya que es necesario entrenar el conjunto completo de parámetros. Además, se requiere espacio de almacenamiento adicional para dar cabida al mayor tamaño del modelo. Para abordar estos desafíos, proponemos un nuevo sistema de diálogo orientado a tareas llamado PEFTTOD. Nuestra propuesta aprovecha un método llamado método de Ajuste Fino Eficiente de Parámetros (PEFT), que incorpora una Capa Adaptadora y ajuste de prefijo en el modelo de lenguaje preentrenado. Esto reduce significativamente el recuento total de parámetros utilizados durante el entrenamiento y transfiere eficientemente el conocimiento del diálogo. Evaluamos el rendimiento de PEFTTOD en el conjunto de datos Multi-WOZ 2.0, un conjunto de datos de referencia comúnmente utilizado en sistemas de diálogo orientados a tareas. En comparación con el método tradicional, PEFTTOD utiliza solo alrededor del 4% de los parámetros para el entrenamiento, lo que resulta en una mejora del 4% en la puntuación combinada en comparación con la línea de base existente basada en T5. Además, PEFTTOD logró una ganancia de eficiencia al reducir el tiempo de entrenamiento en un 20% y ahorrar hasta el 95% del espacio de almacenamiento requerido.

Otros recursos que podrían interesarte

Temas Virtualpro