logo móvil
Contáctanos

El problema de las palabras raras en la generación de lenguaje natural: una solución basada en caracteres

Autores: Bonetta, Giovanni; Roberti, Marco; Cancelliere, Rossella; Gallinari, Patrick

Idioma: Inglés

Editor: MDPI

Año: 2021

Descargar PDF

Acceso abierto

Artículo científico
2021

El problema de las palabras raras en la generación de lenguaje natural: una solución basada en caracteres


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Analizar
Modelo neuronal
Secuencia a secuencia
Técnica de copia
Palabras raras
Rendimiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
En este artículo, analizamos el problema de generar enunciados en inglés fluidos a partir de datos tabulares, centrándonos en el desarrollo de un modelo neuronal de secuencia a secuencia que muestra dos características principales: la capacidad de leer y generar carácter por carácter, y la capacidad de alternar entre generar y copiar caracteres de la entrada: una característica esencial cuando las entradas contienen palabras raras como nombres propios, números de teléfono o palabras extranjeras. Trabajar con caracteres en lugar de palabras es un desafío que puede traer problemas como aumentar la dificultad de la fase de entrenamiento y una mayor probabilidad de error durante la inferencia. Sin embargo, nuestro trabajo muestra que estos problemas pueden resolverse y los esfuerzos se ven recompensados con la creación de un sistema completamente de extremo a extremo, cuyos insumos y salidas no están restringidos a ser parte de un vocabulario predefinido, como en los modelos basados en palabras. Además, nuestra técnica de copia está integrada con un innovador mecanismo de desplazamiento, que mejora la capacidad de producir salidas directamente de las entradas. Evaluamos el rendimiento en el conjunto de datos E2E, el referente utilizado para el desafío E2E NLG, y en una versión modificada de este, creada para resaltar las capacidades de copia de palabras raras de nuestro modelo. Los resultados demuestran mejoras claras sobre la línea base y un rendimiento prometedor en comparación con técnicas recientes en la literatura.

Otros recursos que podrían interesarte

Temas Virtualpro