logo móvil
Contáctanos

Text3D: redes neuronales convolucionales 3D para clasificación de texto

Autores: Wang, Jinrui; Li, Jie; Zhang, Yirui

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Text3D: redes neuronales convolucionales 3D para clasificación de texto


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Redes neuronales convolucionales
Tareas de PNL
CNNs 3D
Tareas de clasificación de texto
Text3D
BERT.

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 46

Citaciones: Sin citaciones


Descripción
Las redes neuronales convolucionales (CNN) han demostrado un rendimiento prometedor en muchas tareas de procesamiento de lenguaje natural gracias a su excelente capacidad de extracción de características locales. Muchos trabajos anteriores han profundizado en las CNN 2D a nivel de palabra para capturar representaciones globales de texto. Las CNN 3D funcionan excelentemente en tareas de visión por computadora a través del aprendizaje de características espacio-temporales, aunque se utilizan poco en tareas de clasificación de textos. Este documento propone un enfoque simple, pero efectivo, para el aprendizaje jerárquico de características utilizando CNN 3D en tareas de clasificación de textos, llamado Text3D. Text3D extrae eficientemente información rica a través de representaciones de texto estructuradas en tres dimensiones producidas por el modelo de lenguaje preentrenado BERT. Específicamente, nuestro Text3D utiliza el orden de las palabras, la incrustación de palabras y la información jerárquica de las capas del codificador BERT como características de tres dimensiones. El modelo propuesto con 12 capas supera a los baselines en cuatro conjuntos de datos de referencia para clasificación de sentimientos y categorización de temas. Text3D con una jerarquía de salida diferente de las capas de BERT demuestra que las características lingüísticas de diferentes capas tienen efectos variados en la clasificación de textos.

Otros recursos que podrían interesarte

Temas Virtualpro