Pruebas metamórficas de modelos de extracción de relaciones
Autores: Sun, Yuhe; Ding, Zuohua; Huang, Hongyun; Zou, Senhao; Jiang, Mingyue
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Pruebas metamórficas de modelos de extracción de relaciones
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Extracción de relaciones
Tarea de PNL
Modelos de ER
Pruebas metamórficas
Relaciones metamórficas
Evaluación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 44
Citaciones: Sin citaciones
La extracción de relaciones (RE) es una tarea fundamental de PNL que tiene como objetivo identificar relaciones entre entidades respecto a un texto dado. RE forma la base para muchas tareas avanzadas de PNL, como la respuesta a preguntas y la resumen de textos, por lo que su calidad es crítica para las aplicaciones relevantes posteriores. Sin embargo, evaluar la calidad de los modelos de RE no es trivial. Por un lado, obtener etiquetas de verdad terreno para entradas de prueba individuales es tedioso e incluso difícil. Por otro lado, hay una creciente necesidad de comprender las características de los modelos de RE en términos de varios aspectos. Para mitigar estos problemas, este estudio propone evaluar los modelos de RE aplicando pruebas metamórficas (MT). Se identifican un total de ocho relaciones metamórficas (MRs) basadas en tres categorías de operaciones de transformación, a saber, reemplazo, intercambio y combinación. Estas MRs codifican algunas propiedades esperadas de diferentes aspectos de RE. Aplicamos además MT a tres modelos de RE populares. Nuestros experimentos revelan un gran número de fallos en las predicciones de los modelos de RE sujetos, confirmando que MT es efectivo para evaluar los modelos de RE. Un análisis adicional de los resultados experimentales revela las ventajas y desventajas de nuestros modelos sujetos y también descubre algunos problemas típicos de los modelos de RE.
Descripción
La extracción de relaciones (RE) es una tarea fundamental de PNL que tiene como objetivo identificar relaciones entre entidades respecto a un texto dado. RE forma la base para muchas tareas avanzadas de PNL, como la respuesta a preguntas y la resumen de textos, por lo que su calidad es crítica para las aplicaciones relevantes posteriores. Sin embargo, evaluar la calidad de los modelos de RE no es trivial. Por un lado, obtener etiquetas de verdad terreno para entradas de prueba individuales es tedioso e incluso difícil. Por otro lado, hay una creciente necesidad de comprender las características de los modelos de RE en términos de varios aspectos. Para mitigar estos problemas, este estudio propone evaluar los modelos de RE aplicando pruebas metamórficas (MT). Se identifican un total de ocho relaciones metamórficas (MRs) basadas en tres categorías de operaciones de transformación, a saber, reemplazo, intercambio y combinación. Estas MRs codifican algunas propiedades esperadas de diferentes aspectos de RE. Aplicamos además MT a tres modelos de RE populares. Nuestros experimentos revelan un gran número de fallos en las predicciones de los modelos de RE sujetos, confirmando que MT es efectivo para evaluar los modelos de RE. Un análisis adicional de los resultados experimentales revela las ventajas y desventajas de nuestros modelos sujetos y también descubre algunos problemas típicos de los modelos de RE.