logo móvil
Contáctanos

Eficiente adaptación: mejorando modelos multilingües para la traducción de idiomas de recursos limitados

Autores: Sel, Ilhami; Hanbay, Davut

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Eficiente adaptación: mejorando modelos multilingües para la traducción de idiomas de recursos limitados


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Traducción automática neuronal
Par de idiomas TR-EN
Estrategias de ajuste fino
Métodos de adaptador
LoRA
Adaptadores de cuello de botella

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 34

Citaciones: Sin citaciones


Descripción
Este estudio se centra en la tarea de traducción automática neuronal para el par de idiomas TR-EN, que se considera un par de idiomas de recursos limitados. Investigamos estrategias de ajuste fino para modelos de lenguaje pre-entrenados. Específicamente, exploramos la efectividad de los métodos de adaptadores eficientes en parámetros para el ajuste fino de modelos de lenguaje pre-entrenados multilingües. Se experimentaron varias combinaciones de adaptadores LoRA y de cuello de botella. La combinación de adaptadores LoRA y de cuello de botella demostró un rendimiento superior en comparación con otros métodos. Esta combinación solo requirió que se ajustara fino el 5% del modelo de lenguaje pre-entrenado. El método propuesto mejora la eficiencia de los parámetros y reduce los costos computacionales. En comparación con el ajuste fino completo del modelo de lenguaje pre-entrenado multilingüe, mostró solo una diferencia del 3% en la puntuación BLEU. Por lo tanto, se logró casi el mismo rendimiento a un costo significativamente menor. Además, los modelos que utilizan solo adaptadores de cuello de botella tuvieron un rendimiento inferior a pesar de tener un recuento de parámetros más alto. Aunque agregar LoRA solo a los modelos de lenguaje pre-entrenados no produjo un rendimiento suficiente, el método propuesto mejoró la traducción automática. Los resultados obtenidos son prometedores, especialmente para pares de idiomas de recursos limitados. El método propuesto requiere menos memoria y carga computacional mientras se mantiene la calidad de la traducción.

Otros recursos que podrían interesarte

Temas Virtualpro