Tarea intermedia de transferencia de aprendizaje con BERT para la detección de sarcasmo
Autores: Savini, Edoardo; Caragea, Cornelia
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Tarea intermedia de transferencia de aprendizaje con BERT para la detección de sarcasmo
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Sarcasmo
Detección
Procesamiento de lenguaje natural
BERT
Análisis de sentimientos
Detección de emociones
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
La detección de sarcasmo juega un papel importante en el procesamiento del lenguaje natural, ya que puede afectar el rendimiento de muchas aplicaciones, incluido el análisis de sentimientos, la minería de opiniones y la detección de posturas. A pesar del progreso sustancial en la detección de sarcasmo, los resultados de la investigación están dispersos en conjuntos de datos y estudios. En este documento, examinamos el estado del arte actual y presentamos bases sólidas para la detección de sarcasmo basadas en modelos de lenguaje pre-entrenados BERT. Mejoramos aún más nuestros modelos BERT ajustándolos en tareas intermedias relacionadas antes de ajustarlos en nuestra tarea objetivo. Específicamente, basándonos en la correlación entre el sarcasmo y el sentimiento (negativo implícito) y las emociones, exploramos un marco de aprendizaje por transferencia que utiliza la clasificación de sentimientos y la detección de emociones como tareas intermedias individuales para infundir conocimiento en la tarea objetivo de detección de sarcasmo. Los resultados experimentales en tres conjuntos de datos con diferentes características muestran que los modelos basados en BERT superan a muchos modelos anteriores.
Descripción
La detección de sarcasmo juega un papel importante en el procesamiento del lenguaje natural, ya que puede afectar el rendimiento de muchas aplicaciones, incluido el análisis de sentimientos, la minería de opiniones y la detección de posturas. A pesar del progreso sustancial en la detección de sarcasmo, los resultados de la investigación están dispersos en conjuntos de datos y estudios. En este documento, examinamos el estado del arte actual y presentamos bases sólidas para la detección de sarcasmo basadas en modelos de lenguaje pre-entrenados BERT. Mejoramos aún más nuestros modelos BERT ajustándolos en tareas intermedias relacionadas antes de ajustarlos en nuestra tarea objetivo. Específicamente, basándonos en la correlación entre el sarcasmo y el sentimiento (negativo implícito) y las emociones, exploramos un marco de aprendizaje por transferencia que utiliza la clasificación de sentimientos y la detección de emociones como tareas intermedias individuales para infundir conocimiento en la tarea objetivo de detección de sarcasmo. Los resultados experimentales en tres conjuntos de datos con diferentes características muestran que los modelos basados en BERT superan a muchos modelos anteriores.