Aprovechando el aprendizaje de cero y de pocas muestras para mejorar la generalidad del modelo en la detección de discursos de odio en español e inglés
Autores: García-Díaz, José Antonio; Pan, Ronghao; Valencia-García, Rafael
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Aprovechando el aprendizaje de cero y de pocas muestras para mejorar la generalidad del modelo en la detección de discursos de odio en español e inglés
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Entrenamiento supervisado
Detección de discursos de odio
Aprendizaje de cero y pocas muestras
Modelos generativos
Aplicabilidad multilingüe
Escasez de datos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
El entrenamiento supervisado ha sido tradicionalmente la piedra angular de los modelos de detección de discursos de odio, pero a menudo se queda corto cuando se enfrenta a escenarios no vistos. El aprendizaje de cero y pocos disparos ofrece una alternativa interesante a los enfoques supervisados tradicionales. En este documento, exploramos las ventajas del aprendizaje de cero y pocos disparos sobre el entrenamiento supervisado, con un enfoque particular en conjuntos de datos de detección de discursos de odio que cubren diferentes dominios y niveles de complejidad. Evaluamos las capacidades de generalización de modelos generativos como T5, BLOOM y Llama-2. Estos modelos han mostrado promesas en la generación de texto y han demostrado la capacidad de aprender a partir de datos etiquetados limitados. Además, al evaluar su rendimiento en conjuntos de datos en español e inglés, obtenemos información sobre su aplicabilidad y versatilidad interlingüística, contribuyendo así a una comprensión más amplia de los modelos generativos en el procesamiento del lenguaje natural. Nuestros resultados resaltan el potencial de los modelos generativos para cerrar la brecha entre la escasez de datos y el rendimiento del modelo en diferentes idiomas y dominios.
Descripción
El entrenamiento supervisado ha sido tradicionalmente la piedra angular de los modelos de detección de discursos de odio, pero a menudo se queda corto cuando se enfrenta a escenarios no vistos. El aprendizaje de cero y pocos disparos ofrece una alternativa interesante a los enfoques supervisados tradicionales. En este documento, exploramos las ventajas del aprendizaje de cero y pocos disparos sobre el entrenamiento supervisado, con un enfoque particular en conjuntos de datos de detección de discursos de odio que cubren diferentes dominios y niveles de complejidad. Evaluamos las capacidades de generalización de modelos generativos como T5, BLOOM y Llama-2. Estos modelos han mostrado promesas en la generación de texto y han demostrado la capacidad de aprender a partir de datos etiquetados limitados. Además, al evaluar su rendimiento en conjuntos de datos en español e inglés, obtenemos información sobre su aplicabilidad y versatilidad interlingüística, contribuyendo así a una comprensión más amplia de los modelos generativos en el procesamiento del lenguaje natural. Nuestros resultados resaltan el potencial de los modelos generativos para cerrar la brecha entre la escasez de datos y el rendimiento del modelo en diferentes idiomas y dominios.