Resumen Abstractive Eficiente Basado en Transformadores en Urdu a Través de la Poda de Atención Selectiva
Autores: Azhar, Muhammad; Amjad, Adeen; Farid, Ghulam; Dewi, Deshinta Arrova; Batumalay, Malathy
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Resumen Abstractive Eficiente Basado en Transformadores en Urdu a Través de la Poda de Atención Selectiva
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Basado en datos
Resumen automático de texto
Resumen abstractivo
Modelos basados en transformadores
Urdu
Innovación en procesos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
En el mundo actual impulsado por los datos, la resumición automática de textos es esencial para extraer información de grandes volúmenes de datos. Mientras que la resumición extractiva está bien estudiada, la resumición abstractiva sigue siendo limitada, especialmente para lenguas de bajos recursos como el urdu. Este estudio introduce innovación en los procesos a través de modelos basados en transformadores: Efficient-BART (EBART), Efficient-T5 (ET5) y Efficient-GPT-2 (EGPT-2), optimizados para la resumición abstractiva en urdu. Las innovaciones incluyen la eliminación estratégica de cabezales de atención ineficientes para reducir la complejidad computacional y mejorar la precisión. Teóricamente, esta poda preserva la integridad estructural al retener cabezales que capturan diversas características lingüísticas, mientras se eliminan los redundantes. Adaptados de BART, T5 y GPT-2, estos modelos optimizados superan significativamente a sus originales en evaluaciones ROUGE, demostrando la efectividad de la innovación en procesos y la optimización para el procesamiento del lenguaje natural en urdu.
Descripción
En el mundo actual impulsado por los datos, la resumición automática de textos es esencial para extraer información de grandes volúmenes de datos. Mientras que la resumición extractiva está bien estudiada, la resumición abstractiva sigue siendo limitada, especialmente para lenguas de bajos recursos como el urdu. Este estudio introduce innovación en los procesos a través de modelos basados en transformadores: Efficient-BART (EBART), Efficient-T5 (ET5) y Efficient-GPT-2 (EGPT-2), optimizados para la resumición abstractiva en urdu. Las innovaciones incluyen la eliminación estratégica de cabezales de atención ineficientes para reducir la complejidad computacional y mejorar la precisión. Teóricamente, esta poda preserva la integridad estructural al retener cabezales que capturan diversas características lingüísticas, mientras se eliminan los redundantes. Adaptados de BART, T5 y GPT-2, estos modelos optimizados superan significativamente a sus originales en evaluaciones ROUGE, demostrando la efectividad de la innovación en procesos y la optimización para el procesamiento del lenguaje natural en urdu.