logo móvil
Contáctanos

Aprovechando Modelos de Lenguaje Escritos Preentrenados Congelados para la Traducción Neuronal de Lengua de Señas

Autores: De Coster, Mathieu; Dambre, Joni

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

Aprovechando Modelos de Lenguaje Escritos Preentrenados Congelados para la Traducción Neuronal de Lengua de Señas


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Traducción de lenguaje de señas neural
Redes neuronales de codificador-decodificador
Diferencia de modalidad
Lenguas de bajos recursos
Transformador Preentrenado Congelado (FPT)
Patrones de atención

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
Consideramos la traducción de lenguas de señas neuronales: la traducción automática de lenguas de señas a lenguas escritas utilizando redes neuronales de codificador-decodificador. Traducir videos de lengua de señas a texto en lengua escrita es especialmente complejo debido a la diferencia en la modalidad entre la lengua fuente y la lengua objetivo y, en consecuencia, al procesamiento de video requerido. Al mismo tiempo, las lenguas de señas son lenguas de bajos recursos, sus conjuntos de datos son insignificantes en comparación con los disponibles para lenguas escritas. Los recientes avances en el procesamiento de lenguas escritas y las historias de éxito del aprendizaje por transferencia plantean la cuestión de cómo se pueden aprovechar los modelos de lengua escrita preentrenados para mejorar la traducción de lenguas de señas. Aplicamos la técnica del Transformador Preentrenado Congelado (FPT) para inicializar el codificador, el decodificador o ambos, de un modelo de traducción de lengua de señas con partes de un modelo de lengua escrita preentrenado. Observamos que los patrones de atención se transfieren en cero disparos a la diferente modalidad y, en algunos experimentos, obtenemos puntuaciones más altas (de 18.85 a 21.39 BLEU-4). Especialmente cuando las anotaciones de glosas no están disponibles, los FPT pueden aumentar el rendimiento en datos no vistos. Sin embargo, los modelos actuales parecen estar limitados principalmente por la calidad de los datos y solo después por la cantidad de datos, lo que limita las ganancias potenciales con los FPT. Por lo tanto, en futuras investigaciones, nos centraremos en mejorar las representaciones utilizadas como entradas para los modelos de traducción.

Otros recursos que podrían interesarte

Temas Virtualpro