Modelo de reescritura de diálogo basado en la extracción de punteros del transformador
Autores: Pu, Chenyang; Sun, Zhangjie; Li, Chuan; Song, Jianfeng
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Modelo de reescritura de diálogo basado en la extracción de punteros del transformador
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Desafíos
Referentes de pronombres
Omisión de información
Comprensión semántica
Modelo de reescritura de diálogo
Basado en Transformer
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
En el escenario de diálogo de múltiples turnos, los usuarios suelen enfrentar desafíos con los referentes de pronombres y la omisión de información, lo que lleva a representaciones semánticamente incompletas. Estos problemas contribuyen a la incoherencia textual, ya que los referentes poco claros y los componentes faltantes obstaculizan la comprensión semántica de las representaciones habladas del texto por parte de las máquinas. Actualmente, los académicos recurren con frecuencia a múltiples rondas de reescritura de diálogo para abordar los desafíos semánticos planteados por la comprensión de máquinas de textos semánticamente faltantes con referentes de pronombres y omisiones de información. Sin embargo, los métodos de reescritura de diálogo existentes a menudo sufren de baja precisión y alta latencia en el manejo de tales textos. Para mitigar estas deficiencias, este documento propone un modelo de reescritura de diálogo basado en Transformer que utiliza la extracción de punteros. El método aprovecha un modelo de pre-entrenamiento Transformer para extraer de manera efectiva las características semánticas potenciales del texto y extraer la información clave del texto mediante una dirección de puntero. Al extraer palabras clave y reemplazar o insertar texto de manera apropiada, el modelo restaura los referentes y la información faltante. Los hallazgos experimentales en un conjunto de datos de reescritura de diálogo de múltiples turnos en chino de código abierto demuestran la efectividad del método propuesto para mejorar tanto la precisión como la eficiencia de la reescritura en comparación con los métodos existentes. Específicamente, el valor ROUGR-1 aumentó en un 2.9%, mientras que el consumo de tiempo disminuyó en un 50% en comparación con el método de referencia.
Descripción
En el escenario de diálogo de múltiples turnos, los usuarios suelen enfrentar desafíos con los referentes de pronombres y la omisión de información, lo que lleva a representaciones semánticamente incompletas. Estos problemas contribuyen a la incoherencia textual, ya que los referentes poco claros y los componentes faltantes obstaculizan la comprensión semántica de las representaciones habladas del texto por parte de las máquinas. Actualmente, los académicos recurren con frecuencia a múltiples rondas de reescritura de diálogo para abordar los desafíos semánticos planteados por la comprensión de máquinas de textos semánticamente faltantes con referentes de pronombres y omisiones de información. Sin embargo, los métodos de reescritura de diálogo existentes a menudo sufren de baja precisión y alta latencia en el manejo de tales textos. Para mitigar estas deficiencias, este documento propone un modelo de reescritura de diálogo basado en Transformer que utiliza la extracción de punteros. El método aprovecha un modelo de pre-entrenamiento Transformer para extraer de manera efectiva las características semánticas potenciales del texto y extraer la información clave del texto mediante una dirección de puntero. Al extraer palabras clave y reemplazar o insertar texto de manera apropiada, el modelo restaura los referentes y la información faltante. Los hallazgos experimentales en un conjunto de datos de reescritura de diálogo de múltiples turnos en chino de código abierto demuestran la efectividad del método propuesto para mejorar tanto la precisión como la eficiencia de la reescritura en comparación con los métodos existentes. Específicamente, el valor ROUGR-1 aumentó en un 2.9%, mientras que el consumo de tiempo disminuyó en un 50% en comparación con el método de referencia.