Un red neuronal gráfica secuencial para clasificación de texto corto
Autores: Zhao, Ke; Huang, Lan; Song, Rui; Shen, Qiang; Xu, Hao
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Un red neuronal gráfica secuencial para clasificación de texto corto
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Clasificación de texto
Procesamiento de lenguaje natural
Redes neuronales gráficas
Información secuencial
Representación de palabras
Redes convolucionales de grafos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 41
Citaciones: Sin citaciones
La clasificación de textos cortos es un problema importante del procesamiento del lenguaje natural (NLP), y las redes neuronales gráficas (GNNs) se han utilizado con éxito para resolver diferentes problemas de NLP. Sin embargo, pocos estudios emplean GNN para la clasificación de textos cortos, y la mayoría de los modelos basados en grafos existentes ignoran la información secuencial (por ejemplo, el orden de las palabras) en cada documento. En este trabajo, proponemos un esquema mejorado de propagación de características basado en secuencias, que utiliza completamente la representación de palabras y la interacción de palabras a nivel de documento y supera las limitaciones de las características textuales en textos cortos. Sobre esta base, utilizamos este esquema de propagación para construir un modelo ligero, red neuronal gráfica secuencial (SGNN), y su modelo extendido, ESGNN. Específicamente, construimos grafos individuales para cada documento en el corpus de textos cortos basados en la co-ocurrencia de palabras y utilizamos una red neuronal de memoria a corto y largo plazo bidireccional (Bi-LSTM) para extraer las características secuenciales de cada documento; por lo tanto, los nodos de palabras en el grafo del documento conservan información contextual. Además, se utilizan dos redes convolucionales gráficas (GCNs) simplificadas diferentes para aprender representaciones de palabras basadas en sus estructuras locales. Finalmente, los nodos de palabras combinados con información secuencial e información local se incorporan como la representación del documento. Experimentos extensos en siete conjuntos de datos de referencia demuestran la efectividad de nuestro método.
Descripción
La clasificación de textos cortos es un problema importante del procesamiento del lenguaje natural (NLP), y las redes neuronales gráficas (GNNs) se han utilizado con éxito para resolver diferentes problemas de NLP. Sin embargo, pocos estudios emplean GNN para la clasificación de textos cortos, y la mayoría de los modelos basados en grafos existentes ignoran la información secuencial (por ejemplo, el orden de las palabras) en cada documento. En este trabajo, proponemos un esquema mejorado de propagación de características basado en secuencias, que utiliza completamente la representación de palabras y la interacción de palabras a nivel de documento y supera las limitaciones de las características textuales en textos cortos. Sobre esta base, utilizamos este esquema de propagación para construir un modelo ligero, red neuronal gráfica secuencial (SGNN), y su modelo extendido, ESGNN. Específicamente, construimos grafos individuales para cada documento en el corpus de textos cortos basados en la co-ocurrencia de palabras y utilizamos una red neuronal de memoria a corto y largo plazo bidireccional (Bi-LSTM) para extraer las características secuenciales de cada documento; por lo tanto, los nodos de palabras en el grafo del documento conservan información contextual. Además, se utilizan dos redes convolucionales gráficas (GCNs) simplificadas diferentes para aprender representaciones de palabras basadas en sus estructuras locales. Finalmente, los nodos de palabras combinados con información secuencial e información local se incorporan como la representación del documento. Experimentos extensos en siete conjuntos de datos de referencia demuestran la efectividad de nuestro método.