Evaluación sin referencia de la traducción automática: Navegando a través de escenarios con escasez de recursos
Autores: Sindhujan, Archchana; Kanojia, Diptesh; Orsan, Constantin
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Evaluación sin referencia de la traducción automática: Navegando a través de escenarios con escasez de recursos
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Traducción automática
Estimación de calidad
Pares de lenguas de bajos recursos
Modelos basados en codificadores
Métodos basados en decodificadores
Modelos de lenguaje grandes
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La evaluación sin referencia de la traducción automática, o Estimación de Calidad (QE), es vital para pares de idiomas de bajos recursos donde a menudo no hay referencias de alta calidad disponibles. En este estudio, investigamos métodos de QE a nivel de segmento comparando modelos basados en codificadores como MonoTransQuest, CometKiwi y xCOMET con varios métodos basados en decodificadores (Tower+, ALOPE y otros modelos de lenguaje ajustados por instrucciones). Nuestro trabajo se centró principalmente en la utilización de ocho pares de idiomas de bajos recursos, involucrando tanto el inglés en el lado de origen como en el lado de destino de la traducción. Los resultados indican que, aunque los modelos basados en codificadores ajustados siguen siendo fuertes competidores en la mayoría de los pares de idiomas de bajos recursos, los Modelos de Lenguaje Grande (LLMs) basados en decodificadores muestran mejoras claras cuando se adaptan a través del ajuste por instrucciones. Es importante destacar que el marco ALOPE mejora aún más el rendimiento de los LLM más allá del ajuste fino estándar, demostrando su efectividad para reducir la brecha con los enfoques basados en codificadores y destacando su potencial como una estrategia viable para el QE de bajos recursos. Además, nuestros experimentos demuestran que con técnicas de adaptación como LoRA (Adaptadores de Bajo Rango) y cuantización, los modelos de QE basados en decodificadores pueden entrenarse con una eficiencia competitiva en la memoria de GPU, aunque generalmente requieren significativamente más espacio en disco que los modelos basados en codificadores. Nuestros hallazgos destacan la efectividad de los modelos basados en codificadores para el QE de bajos recursos y sugieren que los avances en el modelado cruzado de idiomas serán clave para mejorar el QE basado en LLM en el futuro.
Descripción
La evaluación sin referencia de la traducción automática, o Estimación de Calidad (QE), es vital para pares de idiomas de bajos recursos donde a menudo no hay referencias de alta calidad disponibles. En este estudio, investigamos métodos de QE a nivel de segmento comparando modelos basados en codificadores como MonoTransQuest, CometKiwi y xCOMET con varios métodos basados en decodificadores (Tower+, ALOPE y otros modelos de lenguaje ajustados por instrucciones). Nuestro trabajo se centró principalmente en la utilización de ocho pares de idiomas de bajos recursos, involucrando tanto el inglés en el lado de origen como en el lado de destino de la traducción. Los resultados indican que, aunque los modelos basados en codificadores ajustados siguen siendo fuertes competidores en la mayoría de los pares de idiomas de bajos recursos, los Modelos de Lenguaje Grande (LLMs) basados en decodificadores muestran mejoras claras cuando se adaptan a través del ajuste por instrucciones. Es importante destacar que el marco ALOPE mejora aún más el rendimiento de los LLM más allá del ajuste fino estándar, demostrando su efectividad para reducir la brecha con los enfoques basados en codificadores y destacando su potencial como una estrategia viable para el QE de bajos recursos. Además, nuestros experimentos demuestran que con técnicas de adaptación como LoRA (Adaptadores de Bajo Rango) y cuantización, los modelos de QE basados en decodificadores pueden entrenarse con una eficiencia competitiva en la memoria de GPU, aunque generalmente requieren significativamente más espacio en disco que los modelos basados en codificadores. Nuestros hallazgos destacan la efectividad de los modelos basados en codificadores para el QE de bajos recursos y sugieren que los avances en el modelado cruzado de idiomas serán clave para mejorar el QE basado en LLM en el futuro.