adaptMLLM: Ajuste fino de modelos de lenguaje multilingües en lenguas de bajo recurso con parques de juegos LLM integrados
Autores: Lankford, Séamus; Afli, Haithem; Way, Andy
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
adaptMLLM: Ajuste fino de modelos de lenguaje multilingües en lenguas de bajo recurso con parques de juegos LLM integrados
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Modelos de lenguaje multilingües
Traducción automática
Lenguas de bajo recurso
AdaptMLLM
Ajuste fino
Aplicación de código abierto
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La llegada de Modelos de Lenguaje Multilingües (MLLMs) y Modelos de Lenguaje Grandes (LLMs) ha generado innovación en muchas áreas del procesamiento del lenguaje natural. A pesar del emocionante potencial de esta tecnología, su impacto en el desarrollo de salidas de Traducción Automática (MT) de alta calidad para lenguas de recursos limitados sigue siendo relativamente poco explorado. Además, una aplicación de código abierto, dedicada tanto a la adaptación de MLLMs como a la gestión del flujo de trabajo completo de MT para lenguas de recursos limitados, sigue sin estar disponible. Nuestro objetivo es abordar estos desequilibrios a través del desarrollo de adaptMLLM, que simplifica todos los procesos involucrados en la adaptación de MLLMs para MT. Esta aplicación de código abierto está diseñada para desarrolladores, traductores y usuarios que están involucrados en MT. Es particularmente útil para los recién llegados al campo, ya que simplifica significativamente la configuración del entorno de desarrollo. Una interfaz intuitiva permite una fácil personalización de los hiperparámetros, y la aplicación ofrece una variedad de métricas para la evaluación del modelo y la capacidad de implementar modelos como un servicio de traducción directamente dentro de la aplicación. Como herramienta multilingüe, utilizamos adaptMLLM para adaptar modelos para dos pares de lenguas de recursos limitados: inglés a irlandés (EN GA) e inglés a marathi (ENMR). En comparación con las líneas base de la Tarea Compartida LoResMT2021, el sistema adaptMLLM demostró mejoras significativas. En la dirección ENGA, se observó una mejora de 5.2 puntos BLEU y se registró un aumento de 40.5 puntos BLEU en la dirección GAEN, lo que representa mejoras relativas del 14% y 117%, respectivamente. También se observaron mejoras significativas en el rendimiento de traducción del par ENMR, notablemente en la dirección MREN con un aumento de 21.3 puntos BLEU, lo que corresponde a una mejora relativa del 68%. Finalmente, se llevó a cabo una evaluación humana detallada de la salida de MLLM en el par ENGA utilizando las taxonomías de errores de Métricas de Calidad Multidimensionales y Métricas de Calidad Escalar. La aplicación y los modelos están disponibles de forma gratuita.
Descripción
La llegada de Modelos de Lenguaje Multilingües (MLLMs) y Modelos de Lenguaje Grandes (LLMs) ha generado innovación en muchas áreas del procesamiento del lenguaje natural. A pesar del emocionante potencial de esta tecnología, su impacto en el desarrollo de salidas de Traducción Automática (MT) de alta calidad para lenguas de recursos limitados sigue siendo relativamente poco explorado. Además, una aplicación de código abierto, dedicada tanto a la adaptación de MLLMs como a la gestión del flujo de trabajo completo de MT para lenguas de recursos limitados, sigue sin estar disponible. Nuestro objetivo es abordar estos desequilibrios a través del desarrollo de adaptMLLM, que simplifica todos los procesos involucrados en la adaptación de MLLMs para MT. Esta aplicación de código abierto está diseñada para desarrolladores, traductores y usuarios que están involucrados en MT. Es particularmente útil para los recién llegados al campo, ya que simplifica significativamente la configuración del entorno de desarrollo. Una interfaz intuitiva permite una fácil personalización de los hiperparámetros, y la aplicación ofrece una variedad de métricas para la evaluación del modelo y la capacidad de implementar modelos como un servicio de traducción directamente dentro de la aplicación. Como herramienta multilingüe, utilizamos adaptMLLM para adaptar modelos para dos pares de lenguas de recursos limitados: inglés a irlandés (EN GA) e inglés a marathi (ENMR). En comparación con las líneas base de la Tarea Compartida LoResMT2021, el sistema adaptMLLM demostró mejoras significativas. En la dirección ENGA, se observó una mejora de 5.2 puntos BLEU y se registró un aumento de 40.5 puntos BLEU en la dirección GAEN, lo que representa mejoras relativas del 14% y 117%, respectivamente. También se observaron mejoras significativas en el rendimiento de traducción del par ENMR, notablemente en la dirección MREN con un aumento de 21.3 puntos BLEU, lo que corresponde a una mejora relativa del 68%. Finalmente, se llevó a cabo una evaluación humana detallada de la salida de MLLM en el par ENGA utilizando las taxonomías de errores de Métricas de Calidad Multidimensionales y Métricas de Calidad Escalar. La aplicación y los modelos están disponibles de forma gratuita.