Un marco basado en comparación para la evaluación de la calidad del argumento
Autores: Bao, Jianzhu; Jin, Bojun; Sun, Yang; Zhang, Yice; He, Yuhang; Xu, Ruifeng
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un marco basado en comparación para la evaluación de la calidad del argumento
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Argumentos
Evaluaciones de calidad
Comparaciones de pares
CompAQA
Aumento de datos basado en el orden de argumentos
Modelos solo de codificador pre-entrenados
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 40
Citaciones: Sin citaciones
Evaluar la calidad de los argumentos es tanto valioso como desafiante. Los humanos a menudo descubren que hacer comparaciones en pares entre un argumento objetivo y varios argumentos de referencia facilita una evaluación más precisa de la calidad del argumento objetivo. Inspirados en esto, proponemos un marco de trabajo basado en comparaciones para evaluaciones de calidad de argumentos (CompAQA), que puntúa la calidad de un argumento a través de múltiples comparaciones en pares. Además, introducimos una estrategia de aumento de datos basada en el orden de los argumentos para mejorar la capacidad de comparación relativa de calidad de CompAQA. Al introducir varios argumentos de referencia para comparaciones en pares, CompAQA mejora la objetividad y precisión de las evaluaciones de calidad de argumentos. Otra ventaja de CompAQA es su capacidad para integrar tanto la clasificación de calidad de argumentos en pares como las tareas de clasificación de calidad de argumentos en un marco unificado, distinguiéndolo de los métodos existentes. Realizamos experimentos extensos utilizando varios modelos de codificadores preentrenados. Nuestros experimentos involucran dos conjuntos de datos de clasificación de calidad de argumentos (IBM-ArgQ-5.3kArgs y IBM-Rank-30k) y un conjunto de datos de clasificación de calidad de argumentos en pares (IBM-ArgQ-9.1kPairs). En general, CompAQA supera significativamente a varios baselines sólidos. Específicamente, al usar el modelo RoBERTa como base, CompAQA supera al método anterior en el conjunto de datos IBM-Rank-30k, mejorando la correlación de Pearson en 0.0203 y la correlación de Spearman en 0.0148. En el conjunto de datos IBM-ArgQ-5.3kArgs, muestra mejoras de 0.0069 en la correlación de Pearson y 0.0208 en la correlación de Spearman. Además, CompAQA demuestra un aumento del 4.71% en precisión sobre el método base en el conjunto de datos IBM-ArgQ-9.1kPairs. También mostramos que CompAQA puede aplicarse de manera efectiva para afinar modelos preentrenados de decodificadores más grandes, como Llama.
Descripción
Evaluar la calidad de los argumentos es tanto valioso como desafiante. Los humanos a menudo descubren que hacer comparaciones en pares entre un argumento objetivo y varios argumentos de referencia facilita una evaluación más precisa de la calidad del argumento objetivo. Inspirados en esto, proponemos un marco de trabajo basado en comparaciones para evaluaciones de calidad de argumentos (CompAQA), que puntúa la calidad de un argumento a través de múltiples comparaciones en pares. Además, introducimos una estrategia de aumento de datos basada en el orden de los argumentos para mejorar la capacidad de comparación relativa de calidad de CompAQA. Al introducir varios argumentos de referencia para comparaciones en pares, CompAQA mejora la objetividad y precisión de las evaluaciones de calidad de argumentos. Otra ventaja de CompAQA es su capacidad para integrar tanto la clasificación de calidad de argumentos en pares como las tareas de clasificación de calidad de argumentos en un marco unificado, distinguiéndolo de los métodos existentes. Realizamos experimentos extensos utilizando varios modelos de codificadores preentrenados. Nuestros experimentos involucran dos conjuntos de datos de clasificación de calidad de argumentos (IBM-ArgQ-5.3kArgs y IBM-Rank-30k) y un conjunto de datos de clasificación de calidad de argumentos en pares (IBM-ArgQ-9.1kPairs). En general, CompAQA supera significativamente a varios baselines sólidos. Específicamente, al usar el modelo RoBERTa como base, CompAQA supera al método anterior en el conjunto de datos IBM-Rank-30k, mejorando la correlación de Pearson en 0.0203 y la correlación de Spearman en 0.0148. En el conjunto de datos IBM-ArgQ-5.3kArgs, muestra mejoras de 0.0069 en la correlación de Pearson y 0.0208 en la correlación de Spearman. Además, CompAQA demuestra un aumento del 4.71% en precisión sobre el método base en el conjunto de datos IBM-ArgQ-9.1kPairs. También mostramos que CompAQA puede aplicarse de manera efectiva para afinar modelos preentrenados de decodificadores más grandes, como Llama.