logo móvil
Contáctanos

Un método mejorado en un modelo basado en transformadores para la generación de palabras clave ONE2SEQ

Autores: Shen, Lingyun; Le, Xiaoqiu

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Un método mejorado en un modelo basado en transformadores para la generación de palabras clave ONE2SEQ


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Modelo basado en transformadores
Generación de frases clave
Atención al título
Código de secuencia
TAtrans
Puntuación F1

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 41

Citaciones: Sin citaciones


Descripción
La generación de frases clave es una tarea de larga data en la recuperación de literatura científica. El modelo basado en Transformer supera drásticamente a otros modelos de referencia en este desafío. En la investigación de generación de frases clave interdominio, la información sobre el tema juega un papel orientador durante la generación, mientras que en la generación de frases clave de texto individual, los títulos pueden reemplazar roles de temas y transmitir más información semántica. Como resultado, propusimos una arquitectura de modelo mejorada llamada TAtrans. En esta investigación, investigamos las ventajas de la atención al título y el código de secuencia que representa el orden de frases en la secuencia de frases clave para mejorar la generación de frases clave basada en Transformer. Realizamos experimentos en cinco conjuntos de datos en inglés ampliamente utilizados específicamente diseñados para la generación de frases clave. Nuestro método logra un puntaje F1 en los cinco primeros, superando al modelo basado en Transformer en un 3.2% en KP20k. Los resultados demuestran que el método propuesto supera a todos los modelos anteriores en la predicción de frases clave presentes. Para evaluar el rendimiento del modelo propuesto en el conjunto de datos chino, construimos un nuevo conjunto de datos de resúmenes chinos llamado CNKIL, que contiene un total de 54,546 registros. El puntaje F1 de los cinco primeros para predecir frases clave presentes en el conjunto de datos CNKIL supera el 2.2% en comparación con el modelo basado en Transformer. Sin embargo, no hay una mejora significativa en el rendimiento del modelo en la predicción de frases clave ausentes.

Otros recursos que podrían interesarte

Temas Virtualpro