Un modelo de traducción neuronal basado en atención multi-cabeza con codificación posicional inversa para dialectos árabes
Autores: Baniata, Laith H.; Kang, Sangwoo; Ampomah, Isaac. K. E.
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Un modelo de traducción neuronal basado en atención multi-cabeza con codificación posicional inversa para dialectos árabes
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Estructura gramatical
Traducción neuronal automática
Atención multi-cabeza
Codificación posicional inversa
Dialectos árabes
árabe estándar moderno
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 44
Citaciones: Sin citaciones
Los idiomas con una estructura gramatical que tienen un orden libre para las palabras, como los dialectos árabes, se consideran un desafío para los modelos de traducción automática neuronal (NMT) debido a los sufijos, afijos y palabras fuera del vocabulario. Este documento presenta un nuevo mecanismo de codificación posicional inversa para un modelo de traducción automática neuronal (MT) de atención multi-cabeza (MHA) para traducir textos de derecha a izquierda, como los dialectos árabes (ADs) al árabe estándar moderno (MSA). El modelo propuesto depende de un mecanismo MHA que ha sido sugerido recientemente. La utilización del nuevo mecanismo de codificación posicional inversa (RPE) y el uso de unidades de subpalabras como entrada a la capa de autoatención mejoran esta subcapa para el codificador del modelo propuesto al capturar todas las dependencias entre las palabras en textos de derecha a izquierda, como las oraciones de entrada de AD. Se realizaron experimentos con árabe magrebí a MSA, árabe levantino a MSA, árabe de la cuenca del Nilo a MSA, árabe del Golfo a MSA y árabe iraquí a MSA. El análisis experimental demostró que el modelo MHA NMT propuesto con codificación posicional inversa pudo manejar eficientemente el problema de la estructura gramatical abierta de las oraciones en dialectos árabes, y el modelo RPE MHA NMT propuesto mejoró la calidad de la traducción para textos de derecha a izquierda, como los dialectos árabes.
Descripción
Los idiomas con una estructura gramatical que tienen un orden libre para las palabras, como los dialectos árabes, se consideran un desafío para los modelos de traducción automática neuronal (NMT) debido a los sufijos, afijos y palabras fuera del vocabulario. Este documento presenta un nuevo mecanismo de codificación posicional inversa para un modelo de traducción automática neuronal (MT) de atención multi-cabeza (MHA) para traducir textos de derecha a izquierda, como los dialectos árabes (ADs) al árabe estándar moderno (MSA). El modelo propuesto depende de un mecanismo MHA que ha sido sugerido recientemente. La utilización del nuevo mecanismo de codificación posicional inversa (RPE) y el uso de unidades de subpalabras como entrada a la capa de autoatención mejoran esta subcapa para el codificador del modelo propuesto al capturar todas las dependencias entre las palabras en textos de derecha a izquierda, como las oraciones de entrada de AD. Se realizaron experimentos con árabe magrebí a MSA, árabe levantino a MSA, árabe de la cuenca del Nilo a MSA, árabe del Golfo a MSA y árabe iraquí a MSA. El análisis experimental demostró que el modelo MHA NMT propuesto con codificación posicional inversa pudo manejar eficientemente el problema de la estructura gramatical abierta de las oraciones en dialectos árabes, y el modelo RPE MHA NMT propuesto mejoró la calidad de la traducción para textos de derecha a izquierda, como los dialectos árabes.