Un método mejorado en un modelo basado en transformadores para la generación de palabras clave ONE2SEQ
Autores: Shen, Lingyun; Le, Xiaoqiu
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un método mejorado en un modelo basado en transformadores para la generación de palabras clave ONE2SEQ
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelo basado en transformadores
Generación de frases clave
Atención al título
Código de secuencia
TAtrans
Puntuación F1
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 41
Citaciones: Sin citaciones
La generación de frases clave es una tarea de larga data en la recuperación de literatura científica. El modelo basado en Transformer supera drásticamente a otros modelos de referencia en este desafío. En la investigación de generación de frases clave interdominio, la información sobre el tema juega un papel orientador durante la generación, mientras que en la generación de frases clave de texto individual, los títulos pueden reemplazar roles de temas y transmitir más información semántica. Como resultado, propusimos una arquitectura de modelo mejorada llamada TAtrans. En esta investigación, investigamos las ventajas de la atención al título y el código de secuencia que representa el orden de frases en la secuencia de frases clave para mejorar la generación de frases clave basada en Transformer. Realizamos experimentos en cinco conjuntos de datos en inglés ampliamente utilizados específicamente diseñados para la generación de frases clave. Nuestro método logra un puntaje F1 en los cinco primeros, superando al modelo basado en Transformer en un 3.2% en KP20k. Los resultados demuestran que el método propuesto supera a todos los modelos anteriores en la predicción de frases clave presentes. Para evaluar el rendimiento del modelo propuesto en el conjunto de datos chino, construimos un nuevo conjunto de datos de resúmenes chinos llamado CNKIL, que contiene un total de 54,546 registros. El puntaje F1 de los cinco primeros para predecir frases clave presentes en el conjunto de datos CNKIL supera el 2.2% en comparación con el modelo basado en Transformer. Sin embargo, no hay una mejora significativa en el rendimiento del modelo en la predicción de frases clave ausentes.
Descripción
La generación de frases clave es una tarea de larga data en la recuperación de literatura científica. El modelo basado en Transformer supera drásticamente a otros modelos de referencia en este desafío. En la investigación de generación de frases clave interdominio, la información sobre el tema juega un papel orientador durante la generación, mientras que en la generación de frases clave de texto individual, los títulos pueden reemplazar roles de temas y transmitir más información semántica. Como resultado, propusimos una arquitectura de modelo mejorada llamada TAtrans. En esta investigación, investigamos las ventajas de la atención al título y el código de secuencia que representa el orden de frases en la secuencia de frases clave para mejorar la generación de frases clave basada en Transformer. Realizamos experimentos en cinco conjuntos de datos en inglés ampliamente utilizados específicamente diseñados para la generación de frases clave. Nuestro método logra un puntaje F1 en los cinco primeros, superando al modelo basado en Transformer en un 3.2% en KP20k. Los resultados demuestran que el método propuesto supera a todos los modelos anteriores en la predicción de frases clave presentes. Para evaluar el rendimiento del modelo propuesto en el conjunto de datos chino, construimos un nuevo conjunto de datos de resúmenes chinos llamado CNKIL, que contiene un total de 54,546 registros. El puntaje F1 de los cinco primeros para predecir frases clave presentes en el conjunto de datos CNKIL supera el 2.2% en comparación con el modelo basado en Transformer. Sin embargo, no hay una mejora significativa en el rendimiento del modelo en la predicción de frases clave ausentes.