Transferencia de aprendizaje cruzado lingüístico para sistemas de diálogo orientados a tareas en árabe utilizando el modelo transformador multilingüe mT5
Autores: Fuad, Ahlam; Al-Yahya, Maha
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Transferencia de aprendizaje cruzado lingüístico para sistemas de diálogo orientados a tareas en árabe utilizando el modelo transformador multilingüe mT5
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Rendimiento prometedor
Modelos de lenguaje preentrenados
Sistemas de diálogo orientados a tareas
Idiomas de recursos limitados
Aprendizaje de transferencia entre idiomas
Idioma árabe
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
Debido al prometedor rendimiento de los modelos de lenguaje pre-entrenados para sistemas de diálogo orientados a tareas (DS) en inglés, han surgido algunos esfuerzos para proporcionar modelos multilingües para DS orientados a tareas en idiomas de recursos limitados. Estos esfuerzos aún enfrentan un desafío de larga data debido a la falta de datos de alta calidad para estos idiomas, especialmente el árabe. Para sortear la costosa y laboriosa recopilación y anotación de datos, se puede utilizar el aprendizaje de transferencia entre idiomas cuando hay pocos datos de entrenamiento disponibles en el idioma objetivo de recursos limitados. Por lo tanto, este estudio tiene como objetivo explorar la efectividad del aprendizaje de transferencia entre idiomas en la construcción de un DS árabe orientado a tareas de extremo a extremo utilizando el modelo transformador mT5. Utilizamos el conjunto de datos de diálogo orientado a tareas en árabe (Arabic-TOD) en el entrenamiento y prueba del modelo. Presentamos el aprendizaje de transferencia entre idiomas implementado con tres enfoques diferentes: mSeq2Seq, Pre-entrenamiento Cruzado de Idiomas (CPT) y Pre-entrenamiento de Idiomas Mixtos (MLT). Obtenemos buenos resultados para nuestro modelo en comparación con la literatura para el idioma chino utilizando la misma configuración. Además, el aprendizaje de transferencia entre idiomas implementado con el enfoque MLT supera a los otros dos enfoques. Finalmente, mostramos que nuestros resultados pueden mejorarse aumentando el tamaño del conjunto de datos de entrenamiento.
Descripción
Debido al prometedor rendimiento de los modelos de lenguaje pre-entrenados para sistemas de diálogo orientados a tareas (DS) en inglés, han surgido algunos esfuerzos para proporcionar modelos multilingües para DS orientados a tareas en idiomas de recursos limitados. Estos esfuerzos aún enfrentan un desafío de larga data debido a la falta de datos de alta calidad para estos idiomas, especialmente el árabe. Para sortear la costosa y laboriosa recopilación y anotación de datos, se puede utilizar el aprendizaje de transferencia entre idiomas cuando hay pocos datos de entrenamiento disponibles en el idioma objetivo de recursos limitados. Por lo tanto, este estudio tiene como objetivo explorar la efectividad del aprendizaje de transferencia entre idiomas en la construcción de un DS árabe orientado a tareas de extremo a extremo utilizando el modelo transformador mT5. Utilizamos el conjunto de datos de diálogo orientado a tareas en árabe (Arabic-TOD) en el entrenamiento y prueba del modelo. Presentamos el aprendizaje de transferencia entre idiomas implementado con tres enfoques diferentes: mSeq2Seq, Pre-entrenamiento Cruzado de Idiomas (CPT) y Pre-entrenamiento de Idiomas Mixtos (MLT). Obtenemos buenos resultados para nuestro modelo en comparación con la literatura para el idioma chino utilizando la misma configuración. Además, el aprendizaje de transferencia entre idiomas implementado con el enfoque MLT supera a los otros dos enfoques. Finalmente, mostramos que nuestros resultados pueden mejorarse aumentando el tamaño del conjunto de datos de entrenamiento.