Eficiente adaptación: mejorando modelos multilingües para la traducción de idiomas de recursos limitados
Autores: Sel, Ilhami; Hanbay, Davut
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Eficiente adaptación: mejorando modelos multilingües para la traducción de idiomas de recursos limitados
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Traducción automática neuronal
Par de idiomas TR-EN
Estrategias de ajuste fino
Métodos de adaptador
LoRA
Adaptadores de cuello de botella
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
Este estudio se centra en la tarea de traducción automática neuronal para el par de idiomas TR-EN, que se considera un par de idiomas de recursos limitados. Investigamos estrategias de ajuste fino para modelos de lenguaje pre-entrenados. Específicamente, exploramos la efectividad de los métodos de adaptadores eficientes en parámetros para el ajuste fino de modelos de lenguaje pre-entrenados multilingües. Se experimentaron varias combinaciones de adaptadores LoRA y de cuello de botella. La combinación de adaptadores LoRA y de cuello de botella demostró un rendimiento superior en comparación con otros métodos. Esta combinación solo requirió que se ajustara fino el 5% del modelo de lenguaje pre-entrenado. El método propuesto mejora la eficiencia de los parámetros y reduce los costos computacionales. En comparación con el ajuste fino completo del modelo de lenguaje pre-entrenado multilingüe, mostró solo una diferencia del 3% en la puntuación BLEU. Por lo tanto, se logró casi el mismo rendimiento a un costo significativamente menor. Además, los modelos que utilizan solo adaptadores de cuello de botella tuvieron un rendimiento inferior a pesar de tener un recuento de parámetros más alto. Aunque agregar LoRA solo a los modelos de lenguaje pre-entrenados no produjo un rendimiento suficiente, el método propuesto mejoró la traducción automática. Los resultados obtenidos son prometedores, especialmente para pares de idiomas de recursos limitados. El método propuesto requiere menos memoria y carga computacional mientras se mantiene la calidad de la traducción.
Descripción
Este estudio se centra en la tarea de traducción automática neuronal para el par de idiomas TR-EN, que se considera un par de idiomas de recursos limitados. Investigamos estrategias de ajuste fino para modelos de lenguaje pre-entrenados. Específicamente, exploramos la efectividad de los métodos de adaptadores eficientes en parámetros para el ajuste fino de modelos de lenguaje pre-entrenados multilingües. Se experimentaron varias combinaciones de adaptadores LoRA y de cuello de botella. La combinación de adaptadores LoRA y de cuello de botella demostró un rendimiento superior en comparación con otros métodos. Esta combinación solo requirió que se ajustara fino el 5% del modelo de lenguaje pre-entrenado. El método propuesto mejora la eficiencia de los parámetros y reduce los costos computacionales. En comparación con el ajuste fino completo del modelo de lenguaje pre-entrenado multilingüe, mostró solo una diferencia del 3% en la puntuación BLEU. Por lo tanto, se logró casi el mismo rendimiento a un costo significativamente menor. Además, los modelos que utilizan solo adaptadores de cuello de botella tuvieron un rendimiento inferior a pesar de tener un recuento de parámetros más alto. Aunque agregar LoRA solo a los modelos de lenguaje pre-entrenados no produjo un rendimiento suficiente, el método propuesto mejoró la traducción automática. Los resultados obtenidos son prometedores, especialmente para pares de idiomas de recursos limitados. El método propuesto requiere menos memoria y carga computacional mientras se mantiene la calidad de la traducción.