Text3D: redes neuronales convolucionales 3D para clasificación de texto
Autores: Wang, Jinrui; Li, Jie; Zhang, Yirui
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Text3D: redes neuronales convolucionales 3D para clasificación de texto
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes neuronales convolucionales
Tareas de PNL
CNNs 3D
Tareas de clasificación de texto
Text3D
BERT.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 46
Citaciones: Sin citaciones
Las redes neuronales convolucionales (CNN) han demostrado un rendimiento prometedor en muchas tareas de procesamiento de lenguaje natural gracias a su excelente capacidad de extracción de características locales. Muchos trabajos anteriores han profundizado en las CNN 2D a nivel de palabra para capturar representaciones globales de texto. Las CNN 3D funcionan excelentemente en tareas de visión por computadora a través del aprendizaje de características espacio-temporales, aunque se utilizan poco en tareas de clasificación de textos. Este documento propone un enfoque simple, pero efectivo, para el aprendizaje jerárquico de características utilizando CNN 3D en tareas de clasificación de textos, llamado Text3D. Text3D extrae eficientemente información rica a través de representaciones de texto estructuradas en tres dimensiones producidas por el modelo de lenguaje preentrenado BERT. Específicamente, nuestro Text3D utiliza el orden de las palabras, la incrustación de palabras y la información jerárquica de las capas del codificador BERT como características de tres dimensiones. El modelo propuesto con 12 capas supera a los baselines en cuatro conjuntos de datos de referencia para clasificación de sentimientos y categorización de temas. Text3D con una jerarquía de salida diferente de las capas de BERT demuestra que las características lingüísticas de diferentes capas tienen efectos variados en la clasificación de textos.
Descripción
Las redes neuronales convolucionales (CNN) han demostrado un rendimiento prometedor en muchas tareas de procesamiento de lenguaje natural gracias a su excelente capacidad de extracción de características locales. Muchos trabajos anteriores han profundizado en las CNN 2D a nivel de palabra para capturar representaciones globales de texto. Las CNN 3D funcionan excelentemente en tareas de visión por computadora a través del aprendizaje de características espacio-temporales, aunque se utilizan poco en tareas de clasificación de textos. Este documento propone un enfoque simple, pero efectivo, para el aprendizaje jerárquico de características utilizando CNN 3D en tareas de clasificación de textos, llamado Text3D. Text3D extrae eficientemente información rica a través de representaciones de texto estructuradas en tres dimensiones producidas por el modelo de lenguaje preentrenado BERT. Específicamente, nuestro Text3D utiliza el orden de las palabras, la incrustación de palabras y la información jerárquica de las capas del codificador BERT como características de tres dimensiones. El modelo propuesto con 12 capas supera a los baselines en cuatro conjuntos de datos de referencia para clasificación de sentimientos y categorización de temas. Text3D con una jerarquía de salida diferente de las capas de BERT demuestra que las características lingüísticas de diferentes capas tienen efectos variados en la clasificación de textos.