Transformador-BiGRU basado en atención para la clasificación de preguntas
Autores: Han, Dongfang; Tohti, Turdi; Hamdulla, Askar
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Transformador-BiGRU basado en atención para la clasificación de preguntas
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Respuesta a preguntas
Sistema de QA
Inteligencia artificial
Procesamiento de lenguaje natural
Aprendizaje profundo
Clasificación de preguntas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Un sistema de respuesta a preguntas (QA) es una dirección de investigación en el campo de la inteligencia artificial y el procesamiento del lenguaje natural (NLP) que ha atraído mucha atención y tiene amplias perspectivas de desarrollo. Como uno de los componentes principales en el sistema QA, la precisión de la clasificación de preguntas juega un papel clave en toda la tarea de QA. Por lo tanto, no solo se utilizan ampliamente los métodos tradicionales de aprendizaje automático, sino también los métodos de aprendizaje profundo de hoy en día, que se estudian en profundidad en las tareas de clasificación de preguntas. Este artículo presenta principalmente nuestro trabajo en dos aspectos de la clasificación de preguntas en chino. El primero es utilizar un método impulsado por respuestas para construir un conjunto de datos de clasificación de preguntas en chino más rico para los problemas de pequeña escala del conjunto de datos experimental existente, lo que tiene un cierto valor de referencia para la expansión del conjunto de datos, especialmente para la construcción de aquellos conjuntos de datos de lenguas de bajos recursos. El segundo es proponer un modelo de aprendizaje profundo de clasificación de problemas con una estructura de Transformer + Bi-GRU + Atención. El Transformer tiene una fuerte capacidad de aprendizaje y codificación, pero adopta el esquema de longitud de codificación fija, que divide el texto largo en múltiples segmentos, y cada segmento se codifica por separado; no hay interacción que ocurra entre segmentos. Aquí, logramos la interacción de información entre segmentos a través de Bi-GRU para mejorar el efecto de codificación de oraciones largas. Nuestro propósito de agregar el mecanismo de Atención es resaltar la semántica clave en preguntas que contienen respuestas. Los resultados experimentales muestran que el modelo propuesto en este artículo ha mejorado significativamente la precisión de la clasificación de preguntas.
Descripción
Un sistema de respuesta a preguntas (QA) es una dirección de investigación en el campo de la inteligencia artificial y el procesamiento del lenguaje natural (NLP) que ha atraído mucha atención y tiene amplias perspectivas de desarrollo. Como uno de los componentes principales en el sistema QA, la precisión de la clasificación de preguntas juega un papel clave en toda la tarea de QA. Por lo tanto, no solo se utilizan ampliamente los métodos tradicionales de aprendizaje automático, sino también los métodos de aprendizaje profundo de hoy en día, que se estudian en profundidad en las tareas de clasificación de preguntas. Este artículo presenta principalmente nuestro trabajo en dos aspectos de la clasificación de preguntas en chino. El primero es utilizar un método impulsado por respuestas para construir un conjunto de datos de clasificación de preguntas en chino más rico para los problemas de pequeña escala del conjunto de datos experimental existente, lo que tiene un cierto valor de referencia para la expansión del conjunto de datos, especialmente para la construcción de aquellos conjuntos de datos de lenguas de bajos recursos. El segundo es proponer un modelo de aprendizaje profundo de clasificación de problemas con una estructura de Transformer + Bi-GRU + Atención. El Transformer tiene una fuerte capacidad de aprendizaje y codificación, pero adopta el esquema de longitud de codificación fija, que divide el texto largo en múltiples segmentos, y cada segmento se codifica por separado; no hay interacción que ocurra entre segmentos. Aquí, logramos la interacción de información entre segmentos a través de Bi-GRU para mejorar el efecto de codificación de oraciones largas. Nuestro propósito de agregar el mecanismo de Atención es resaltar la semántica clave en preguntas que contienen respuestas. Los resultados experimentales muestran que el modelo propuesto en este artículo ha mejorado significativamente la precisión de la clasificación de preguntas.