Modelo de clasificación de texto de Transformer para dialectos árabes que utiliza transferencia inductiva
Autores: Baniata, Laith H.; Kang, Sangwoo
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Modelo de clasificación de texto de Transformer para dialectos árabes que utiliza transferencia inductiva
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Clasificación
Texto en árabe
Paradigma del transformador
Aprendizaje de una sola tarea
Análisis de sentimientos
Transferencia Inductiva
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
En el ámbito del esfuerzo de clasificación de cinco categorías, ha habido una exploración limitada de técnicas aplicadas para clasificar texto en árabe. Estos métodos han dependido principalmente del aprendizaje de una sola tarea, incorporando características elaboradas manualmente que carecen de representaciones robustas de oraciones. Recientemente, el paradigma Transformer ha surgido como una alternativa altamente prometedora. Sin embargo, cuando estos modelos se entrenan utilizando aprendizaje de una sola tarea, a menudo enfrentan desafíos para lograr un rendimiento sobresaliente y generar representaciones robustas de características latentes, especialmente al tratar con conjuntos de datos pequeños. Este problema es particularmente pronunciado en el contexto del dialecto árabe, que tiene escasez de recursos disponibles. Dadas estas limitaciones, este estudio introduce un enfoque innovador para analizar el sentimiento en texto árabe. Este enfoque combina la Transferencia Inductiva (INT) con el paradigma Transformer para aumentar la adaptabilidad del modelo y refinar la representación de las oraciones. Al emplear las capas auto-atentivas SE-A y subcapas feed-forward como un codificador Transformer compartido para las tareas de clasificación de texto árabe de cinco categorías y tres categorías, este modelo propuesto discierne hábilmente el sentimiento en oraciones en dialecto árabe. Los hallazgos empíricos subrayan el rendimiento loable del modelo propuesto, como se demuestra en evaluaciones del Conjunto de Datos de Reseñas de Hoteles en Árabe, el Conjunto de Datos de Reseñas de Libros en Árabe y el conjunto de datos LARB.
Descripción
En el ámbito del esfuerzo de clasificación de cinco categorías, ha habido una exploración limitada de técnicas aplicadas para clasificar texto en árabe. Estos métodos han dependido principalmente del aprendizaje de una sola tarea, incorporando características elaboradas manualmente que carecen de representaciones robustas de oraciones. Recientemente, el paradigma Transformer ha surgido como una alternativa altamente prometedora. Sin embargo, cuando estos modelos se entrenan utilizando aprendizaje de una sola tarea, a menudo enfrentan desafíos para lograr un rendimiento sobresaliente y generar representaciones robustas de características latentes, especialmente al tratar con conjuntos de datos pequeños. Este problema es particularmente pronunciado en el contexto del dialecto árabe, que tiene escasez de recursos disponibles. Dadas estas limitaciones, este estudio introduce un enfoque innovador para analizar el sentimiento en texto árabe. Este enfoque combina la Transferencia Inductiva (INT) con el paradigma Transformer para aumentar la adaptabilidad del modelo y refinar la representación de las oraciones. Al emplear las capas auto-atentivas SE-A y subcapas feed-forward como un codificador Transformer compartido para las tareas de clasificación de texto árabe de cinco categorías y tres categorías, este modelo propuesto discierne hábilmente el sentimiento en oraciones en dialecto árabe. Los hallazgos empíricos subrayan el rendimiento loable del modelo propuesto, como se demuestra en evaluaciones del Conjunto de Datos de Reseñas de Hoteles en Árabe, el Conjunto de Datos de Reseñas de Libros en Árabe y el conjunto de datos LARB.