logo móvil
Contáctanos

Transferencia de aprendizaje cruzado lingüístico para sistemas de diálogo orientados a tareas en árabe utilizando el modelo transformador multilingüe mT5

Autores: Fuad, Ahlam; Al-Yahya, Maha

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

Transferencia de aprendizaje cruzado lingüístico para sistemas de diálogo orientados a tareas en árabe utilizando el modelo transformador multilingüe mT5


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Rendimiento prometedor
Modelos de lenguaje preentrenados
Sistemas de diálogo orientados a tareas
Idiomas de recursos limitados
Aprendizaje de transferencia entre idiomas
Idioma árabe

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 37

Citaciones: Sin citaciones


Descripción
Debido al prometedor rendimiento de los modelos de lenguaje pre-entrenados para sistemas de diálogo orientados a tareas (DS) en inglés, han surgido algunos esfuerzos para proporcionar modelos multilingües para DS orientados a tareas en idiomas de recursos limitados. Estos esfuerzos aún enfrentan un desafío de larga data debido a la falta de datos de alta calidad para estos idiomas, especialmente el árabe. Para sortear la costosa y laboriosa recopilación y anotación de datos, se puede utilizar el aprendizaje de transferencia entre idiomas cuando hay pocos datos de entrenamiento disponibles en el idioma objetivo de recursos limitados. Por lo tanto, este estudio tiene como objetivo explorar la efectividad del aprendizaje de transferencia entre idiomas en la construcción de un DS árabe orientado a tareas de extremo a extremo utilizando el modelo transformador mT5. Utilizamos el conjunto de datos de diálogo orientado a tareas en árabe (Arabic-TOD) en el entrenamiento y prueba del modelo. Presentamos el aprendizaje de transferencia entre idiomas implementado con tres enfoques diferentes: mSeq2Seq, Pre-entrenamiento Cruzado de Idiomas (CPT) y Pre-entrenamiento de Idiomas Mixtos (MLT). Obtenemos buenos resultados para nuestro modelo en comparación con la literatura para el idioma chino utilizando la misma configuración. Además, el aprendizaje de transferencia entre idiomas implementado con el enfoque MLT supera a los otros dos enfoques. Finalmente, mostramos que nuestros resultados pueden mejorarse aumentando el tamaño del conjunto de datos de entrenamiento.

Otros recursos que podrían interesarte

Temas Virtualpro