Un modelo mejorado para analizar el sentimiento textual basado en una red neuronal profunda utilizando un mecanismo de atención de múltiples cabezas
Autores: Sharaf Al-deen, Hashem Saleh; Zeng, Zhiwen; Al-sabri, Raeed; Hekmat, Arash
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Un modelo mejorado para analizar el sentimiento textual basado en una red neuronal profunda utilizando un mecanismo de atención de múltiples cabezas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Contenido de redes sociales
Análisis de sentimientos textuales
Modelos de aprendizaje profundo
Redes neuronales convolucionales
Memoria a corto plazo de largo plazo
Mecanismo de atención de múltiples cabezas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
Debido al crecimiento creciente del contenido en redes sociales en sitios web como Twitter y Facebook, analizar el sentimiento textual se ha convertido en una tarea desafiante. Por lo tanto, muchos estudios se han centrado en el análisis de sentimiento textual. Recientemente, los modelos de aprendizaje profundo, como las redes neuronales convolucionales y las redes neuronales de memoria a corto y largo plazo, han logrado un rendimiento prometedor en el análisis de sentimiento. Estos modelos han demostrado su capacidad para manejar la longitud arbitraria de secuencias. Sin embargo, cuando se utilizan en la capa de extracción de características, la distancia de características es altamente dimensional, los datos de texto son dispersos y asignan igual importancia a varias características. Para abordar estos problemas, proponemos un modelo híbrido que combina una red neuronal profunda con un mecanismo de atención de múltiples cabezas (DNN-MHAT). En el modelo DNN-MHAT, primero diseñamos una red neuronal profunda mejorada para capturar el contexto real del texto y extraer las características locales de invariantes de posición mediante la combinación de unidades de memoria a corto y largo plazo bidireccionales recurrentes (Bi-LSTM) con una red neuronal convolucional (CNN). En segundo lugar, presentamos un mecanismo de atención de múltiples cabezas para capturar las palabras en el texto que están significativamente relacionadas con dependencias de espacio largo y codificación, lo que añade un enfoque diferente a la información producida desde las capas ocultas de BiLSTM. Finalmente, se aplica un promedio de agrupación global para transformar el vector en una representación de sentimiento de alto nivel para evitar el sobreajuste del modelo, y se aplica un clasificador sigmoide para llevar a cabo la clasificación de polaridad de sentimiento de textos. El modelo DNN-MHAT se prueba en cuatro revisiones y dos conjuntos de datos de Twitter. Los resultados de los experimentos ilustran la eficacia del modelo DNN-MHAT, que logró un excelente rendimiento en comparación con los métodos de referencia de última generación basados en tweets cortos y revisiones largas.
Descripción
Debido al crecimiento creciente del contenido en redes sociales en sitios web como Twitter y Facebook, analizar el sentimiento textual se ha convertido en una tarea desafiante. Por lo tanto, muchos estudios se han centrado en el análisis de sentimiento textual. Recientemente, los modelos de aprendizaje profundo, como las redes neuronales convolucionales y las redes neuronales de memoria a corto y largo plazo, han logrado un rendimiento prometedor en el análisis de sentimiento. Estos modelos han demostrado su capacidad para manejar la longitud arbitraria de secuencias. Sin embargo, cuando se utilizan en la capa de extracción de características, la distancia de características es altamente dimensional, los datos de texto son dispersos y asignan igual importancia a varias características. Para abordar estos problemas, proponemos un modelo híbrido que combina una red neuronal profunda con un mecanismo de atención de múltiples cabezas (DNN-MHAT). En el modelo DNN-MHAT, primero diseñamos una red neuronal profunda mejorada para capturar el contexto real del texto y extraer las características locales de invariantes de posición mediante la combinación de unidades de memoria a corto y largo plazo bidireccionales recurrentes (Bi-LSTM) con una red neuronal convolucional (CNN). En segundo lugar, presentamos un mecanismo de atención de múltiples cabezas para capturar las palabras en el texto que están significativamente relacionadas con dependencias de espacio largo y codificación, lo que añade un enfoque diferente a la información producida desde las capas ocultas de BiLSTM. Finalmente, se aplica un promedio de agrupación global para transformar el vector en una representación de sentimiento de alto nivel para evitar el sobreajuste del modelo, y se aplica un clasificador sigmoide para llevar a cabo la clasificación de polaridad de sentimiento de textos. El modelo DNN-MHAT se prueba en cuatro revisiones y dos conjuntos de datos de Twitter. Los resultados de los experimentos ilustran la eficacia del modelo DNN-MHAT, que logró un excelente rendimiento en comparación con los métodos de referencia de última generación basados en tweets cortos y revisiones largas.