Sistema de Traducción Dinámico de Multi-Grano: Representación Multi-Grano Estructurada en DAG y Autoatención
Autores: Lv, Shenrong; Yang, Bo; Wang, Ruiyang; Lu, Siyu; Tian, Jiawei; Zheng, Wenfeng; Chen, Xiaobing; Yin, Lirong
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Sistema de Traducción Dinámico de Multi-Grano: Representación Multi-Grano Estructurada en DAG y Autoatención
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Traducción automática neuronal
Incrustaciones de palabras
Multigranularidad
DMGTS
Modelo Transformer
Mecanismos de autoatención
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
En la traducción automática neuronal (NMT), la sofisticación de las incrustaciones de palabras juega un papel fundamental en la capacidad del modelo para ofrecer traducciones precisas y contextualmente relevantes. Sin embargo, los modelos convencionales con una única granularidad de segmentación de palabras no pueden incorporar completamente lenguajes complejos como el chino, donde la granularidad de la segmentación impacta significativamente en la comprensión y la fidelidad de la traducción. Abordando estos desafíos, nuestro estudio presenta el Sistema de Traducción de Multi-Granularidad Dinámica (DMGTS), un enfoque innovador que mejora el modelo Transformer al incorporar codificación de posición de multi-granularidad y mecanismos de auto-atención de multi-granularidad. Aprovechando un Grafo Acíclico Dirigido (DAG), el DMGTS utiliza cuatro niveles de segmentación de palabras para la codificación de posición de multi-granularidad. También se introducen incrustaciones de palabras dinámicas para mejorar la representación léxica al incorporar características de multi-granularidad. Se aplican mecanismos de auto-atención de multi-granularidad para reemplazar las capas de auto-atención convencionales. Evaluamos el DMGTS en múltiples conjuntos de datos, donde nuestro sistema demuestra mejoras notables. En particular, logra mejoras significativas en la calidad de la traducción, evidenciadas por aumentos de 1.16 y 1.55 en las puntuaciones de Evaluación Bilingüe (BLEU) en comparación con los métodos de incrustación estática tradicionales. Estos resultados subrayan la eficacia del DMGTS en la mejora del rendimiento de NMT.
Descripción
En la traducción automática neuronal (NMT), la sofisticación de las incrustaciones de palabras juega un papel fundamental en la capacidad del modelo para ofrecer traducciones precisas y contextualmente relevantes. Sin embargo, los modelos convencionales con una única granularidad de segmentación de palabras no pueden incorporar completamente lenguajes complejos como el chino, donde la granularidad de la segmentación impacta significativamente en la comprensión y la fidelidad de la traducción. Abordando estos desafíos, nuestro estudio presenta el Sistema de Traducción de Multi-Granularidad Dinámica (DMGTS), un enfoque innovador que mejora el modelo Transformer al incorporar codificación de posición de multi-granularidad y mecanismos de auto-atención de multi-granularidad. Aprovechando un Grafo Acíclico Dirigido (DAG), el DMGTS utiliza cuatro niveles de segmentación de palabras para la codificación de posición de multi-granularidad. También se introducen incrustaciones de palabras dinámicas para mejorar la representación léxica al incorporar características de multi-granularidad. Se aplican mecanismos de auto-atención de multi-granularidad para reemplazar las capas de auto-atención convencionales. Evaluamos el DMGTS en múltiples conjuntos de datos, donde nuestro sistema demuestra mejoras notables. En particular, logra mejoras significativas en la calidad de la traducción, evidenciadas por aumentos de 1.16 y 1.55 en las puntuaciones de Evaluación Bilingüe (BLEU) en comparación con los métodos de incrustación estática tradicionales. Estos resultados subrayan la eficacia del DMGTS en la mejora del rendimiento de NMT.