Un estudio comparativo de modelos de lenguaje grandes multilingües para el reconocimiento de entidades nombradas cruzado en árabe
Autores: Al-Duwais, Mashael; Al-Khalifa, Hend; Al-Salman, Abdulmalik
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un estudio comparativo de modelos de lenguaje grandes multilingües para el reconocimiento de entidades nombradas cruzado en árabe
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelos de lenguaje
Multilingüe
Tareas de PNL
árabe
Reconocimiento de entidades nombradas
Métodos de adaptación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
Los modelos de lenguaje multilingües de gran tamaño (MLLMs) han demostrado un rendimiento notable en una amplia gama de tareas de procesamiento de lenguaje natural (NLP) multilingüe. La aparición de MLLMs ha hecho posible lograr la transferencia de conocimientos de idiomas con muchos recursos a idiomas con pocos recursos. Se han lanzado varios MLLMs para tareas de transferencia multilingüe. Sin embargo, no hay una evaluación sistemática que compare todos los modelos para el Reconocimiento de Entidades Nombradas (NER) cruzado en árabe. Este documento presenta una evaluación de referencia para investigar empíricamente el rendimiento de los modelos de lenguaje multilingües de gran tamaño más avanzados para el NER cruzado en árabe. Además, investigamos el rendimiento de diferentes métodos de adaptación de MLLMs para modelar mejor el idioma árabe. Se presenta un análisis de errores de los diferentes métodos de adaptación. Nuestros resultados experimentales indican que GigaBERT supera a otros modelos para el NER cruzado en árabe, mientras que el preentrenamiento adaptativo al idioma (LAPT) demuestra ser el método de adaptación más efectivo en todos los conjuntos de datos. Nuestros hallazgos resaltan la importancia de incorporar conocimientos específicos del idioma para mejorar el rendimiento en pares de idiomas distantes como el inglés y el árabe.
Descripción
Los modelos de lenguaje multilingües de gran tamaño (MLLMs) han demostrado un rendimiento notable en una amplia gama de tareas de procesamiento de lenguaje natural (NLP) multilingüe. La aparición de MLLMs ha hecho posible lograr la transferencia de conocimientos de idiomas con muchos recursos a idiomas con pocos recursos. Se han lanzado varios MLLMs para tareas de transferencia multilingüe. Sin embargo, no hay una evaluación sistemática que compare todos los modelos para el Reconocimiento de Entidades Nombradas (NER) cruzado en árabe. Este documento presenta una evaluación de referencia para investigar empíricamente el rendimiento de los modelos de lenguaje multilingües de gran tamaño más avanzados para el NER cruzado en árabe. Además, investigamos el rendimiento de diferentes métodos de adaptación de MLLMs para modelar mejor el idioma árabe. Se presenta un análisis de errores de los diferentes métodos de adaptación. Nuestros resultados experimentales indican que GigaBERT supera a otros modelos para el NER cruzado en árabe, mientras que el preentrenamiento adaptativo al idioma (LAPT) demuestra ser el método de adaptación más efectivo en todos los conjuntos de datos. Nuestros hallazgos resaltan la importancia de incorporar conocimientos específicos del idioma para mejorar el rendimiento en pares de idiomas distantes como el inglés y el árabe.