Rendimiento de Traducción desde la Perspectiva del Usuario de Modelos de Lenguaje Grande y Sistemas de Traducción Automática Neuronal
Autores: Son, Jungha; Kim, Boyoung
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Rendimiento de Traducción desde la Perspectiva del Usuario de Modelos de Lenguaje Grande y Sistemas de Traducción Automática Neuronal
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Expansión global
ChatGPT
Rendimiento de traducción
Modelos de lenguaje
Traducción automática neuronal
Métricas de evaluación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La rápida expansión global de ChatGPT, que desempeña un papel crucial en el intercambio de conocimientos interactivo y la traducción, subraya la importancia de las evaluaciones de rendimiento comparativas en la tecnología de inteligencia artificial (IA). Este estudio se centró en este tema crucial al explorar y contrastar los rendimientos de traducción de los modelos de lenguaje grandes (LLMs) y los sistemas de traducción automática neuronal (NMT). Para este fin, se utilizaron las API de Google Translate, Microsoft Translator y ChatGPT de OpenAI, aprovechando los corpus paralelos de los benchmarks del Taller de Traducción Automática (WMT) de 2018 y 2020. Al aplicar métricas de evaluación reconocidas como BLEU, chrF y TER, se llevó a cabo un análisis de rendimiento integral a través de una variedad de pares de idiomas, direcciones de traducción y tamaños de tokens de referencia. Los hallazgos revelan que, si bien Google Translate y Microsoft Translator generalmente superan a ChatGPT en términos de sus puntuaciones de BLEU, chrF y TER, ChatGPT exhibe un rendimiento superior en pares de idiomas específicos. Las traducciones de no inglés a inglés consistentemente arrojaron mejores resultados en los tres sistemas en comparación con las traducciones de inglés a no inglés. Significativamente, se observó una mejora en el rendimiento del sistema de traducción a medida que aumentaba el tamaño del token, lo que sugiere los posibles beneficios de entrenar modelos con tamaños de token más grandes.
Descripción
La rápida expansión global de ChatGPT, que desempeña un papel crucial en el intercambio de conocimientos interactivo y la traducción, subraya la importancia de las evaluaciones de rendimiento comparativas en la tecnología de inteligencia artificial (IA). Este estudio se centró en este tema crucial al explorar y contrastar los rendimientos de traducción de los modelos de lenguaje grandes (LLMs) y los sistemas de traducción automática neuronal (NMT). Para este fin, se utilizaron las API de Google Translate, Microsoft Translator y ChatGPT de OpenAI, aprovechando los corpus paralelos de los benchmarks del Taller de Traducción Automática (WMT) de 2018 y 2020. Al aplicar métricas de evaluación reconocidas como BLEU, chrF y TER, se llevó a cabo un análisis de rendimiento integral a través de una variedad de pares de idiomas, direcciones de traducción y tamaños de tokens de referencia. Los hallazgos revelan que, si bien Google Translate y Microsoft Translator generalmente superan a ChatGPT en términos de sus puntuaciones de BLEU, chrF y TER, ChatGPT exhibe un rendimiento superior en pares de idiomas específicos. Las traducciones de no inglés a inglés consistentemente arrojaron mejores resultados en los tres sistemas en comparación con las traducciones de inglés a no inglés. Significativamente, se observó una mejora en el rendimiento del sistema de traducción a medida que aumentaba el tamaño del token, lo que sugiere los posibles beneficios de entrenar modelos con tamaños de token más grandes.