Método eficiente de ajuste fino de parámetros para sistemas de diálogo orientados a tareas
Autores: Mo, Yunho; Yoo, Joon; Kang, Sangwoo
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Método eficiente de ajuste fino de parámetros para sistemas de diálogo orientados a tareas
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Modelos de lenguaje preentrenados basados en transformadores
Sistemas de diálogo orientados a tareas
PEFTTOD
Método de Ajuste Fino Eficiente de Parámetros
Conjunto de datos Multi-WOZ 2.0
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 42
Citaciones: Sin citaciones
El uso de modelos de lenguaje preentrenados basados en Transformer se ha vuelto prevalente en mejorar el rendimiento de los sistemas de diálogo orientados a tareas. Estos modelos, que se preentrenan en grandes conjuntos de datos de texto para comprender la sintaxis y semántica del lenguaje, ajustan finamente el conjunto de parámetros completo según una tarea específica. Sin embargo, a medida que aumenta la escala del modelo de lenguaje preentrenado, surgen varios desafíos durante el proceso de ajuste fino. Por ejemplo, el tiempo de entrenamiento se incrementa a medida que crece la escala del modelo, ya que es necesario entrenar el conjunto completo de parámetros. Además, se requiere espacio de almacenamiento adicional para dar cabida al mayor tamaño del modelo. Para abordar estos desafíos, proponemos un nuevo sistema de diálogo orientado a tareas llamado PEFTTOD. Nuestra propuesta aprovecha un método llamado método de Ajuste Fino Eficiente de Parámetros (PEFT), que incorpora una Capa Adaptadora y ajuste de prefijo en el modelo de lenguaje preentrenado. Esto reduce significativamente el recuento total de parámetros utilizados durante el entrenamiento y transfiere eficientemente el conocimiento del diálogo. Evaluamos el rendimiento de PEFTTOD en el conjunto de datos Multi-WOZ 2.0, un conjunto de datos de referencia comúnmente utilizado en sistemas de diálogo orientados a tareas. En comparación con el método tradicional, PEFTTOD utiliza solo alrededor del 4% de los parámetros para el entrenamiento, lo que resulta en una mejora del 4% en la puntuación combinada en comparación con la línea de base existente basada en T5. Además, PEFTTOD logró una ganancia de eficiencia al reducir el tiempo de entrenamiento en un 20% y ahorrar hasta el 95% del espacio de almacenamiento requerido.
Descripción
El uso de modelos de lenguaje preentrenados basados en Transformer se ha vuelto prevalente en mejorar el rendimiento de los sistemas de diálogo orientados a tareas. Estos modelos, que se preentrenan en grandes conjuntos de datos de texto para comprender la sintaxis y semántica del lenguaje, ajustan finamente el conjunto de parámetros completo según una tarea específica. Sin embargo, a medida que aumenta la escala del modelo de lenguaje preentrenado, surgen varios desafíos durante el proceso de ajuste fino. Por ejemplo, el tiempo de entrenamiento se incrementa a medida que crece la escala del modelo, ya que es necesario entrenar el conjunto completo de parámetros. Además, se requiere espacio de almacenamiento adicional para dar cabida al mayor tamaño del modelo. Para abordar estos desafíos, proponemos un nuevo sistema de diálogo orientado a tareas llamado PEFTTOD. Nuestra propuesta aprovecha un método llamado método de Ajuste Fino Eficiente de Parámetros (PEFT), que incorpora una Capa Adaptadora y ajuste de prefijo en el modelo de lenguaje preentrenado. Esto reduce significativamente el recuento total de parámetros utilizados durante el entrenamiento y transfiere eficientemente el conocimiento del diálogo. Evaluamos el rendimiento de PEFTTOD en el conjunto de datos Multi-WOZ 2.0, un conjunto de datos de referencia comúnmente utilizado en sistemas de diálogo orientados a tareas. En comparación con el método tradicional, PEFTTOD utiliza solo alrededor del 4% de los parámetros para el entrenamiento, lo que resulta en una mejora del 4% en la puntuación combinada en comparación con la línea de base existente basada en T5. Además, PEFTTOD logró una ganancia de eficiencia al reducir el tiempo de entrenamiento en un 20% y ahorrar hasta el 95% del espacio de almacenamiento requerido.