¿quién necesita referencias externas?-evaluación de resumen de texto utilizando documentos originales
Autores: Foysal, Abdullah Al; Böck, Ronald
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
¿quién necesita referencias externas?-evaluación de resumen de texto utilizando documentos originales
Categoría
Ingeniería y Tecnología
Subcategoría
Inteligencia Artificial
Palabras clave
Documentos
Resumir
Enfoques automáticos
Métricas
Evaluación
Resúmenes generados por máquina
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 26
Citaciones: Sin citaciones
En la actualidad, las personas pueden sentirse abrumadas por una gran cantidad de documentos presentes en la vida diaria. Capturar los detalles necesarios a menudo es un desafío. Por lo tanto, es bastante importante resumir documentos para obtener rápidamente la información principal. Actualmente existen enfoques automáticos para esta tarea, pero su calidad a menudo no se evalúa adecuadamente. Las métricas de vanguardia se basan en resúmenes generados por humanos como referencia para la evaluación. Si no se proporciona una referencia, la evaluación será difícil. Por lo tanto, en ausencia de resúmenes de referencia generados por humanos, investigamos un enfoque alternativo sobre cómo se pueden evaluar los resúmenes generados por máquinas. Para esto, nos enfocamos en el texto original o el documento para recuperar una métrica que permita una evaluación directa de los resúmenes generados automáticamente. Este enfoque es particularmente útil en casos en los que es difícil o costoso encontrar resúmenes de referencia. En este documento, presentamos una nueva métrica llamada Puntuación de Resumen sin Referencia (SUSWIR), que se basa en cuatro factores ya conocidos en la comunidad de resumenes de texto: Similitud Semántica, Redundancia, Relevancia y Análisis de Evitación de Sesgos, superando las desventajas de las métricas comunes. Por lo tanto, nuestro objetivo es cerrar una brecha en el entorno actual de evaluación de resúmenes de texto generados por máquinas. La nueva métrica se presenta teóricamente y se prueba en cinco conjuntos de datos de sus respectivos dominios. Los experimentos realizados arrojaron resultados notables, empleando la utilización de SUSWIR.
Descripción
En la actualidad, las personas pueden sentirse abrumadas por una gran cantidad de documentos presentes en la vida diaria. Capturar los detalles necesarios a menudo es un desafío. Por lo tanto, es bastante importante resumir documentos para obtener rápidamente la información principal. Actualmente existen enfoques automáticos para esta tarea, pero su calidad a menudo no se evalúa adecuadamente. Las métricas de vanguardia se basan en resúmenes generados por humanos como referencia para la evaluación. Si no se proporciona una referencia, la evaluación será difícil. Por lo tanto, en ausencia de resúmenes de referencia generados por humanos, investigamos un enfoque alternativo sobre cómo se pueden evaluar los resúmenes generados por máquinas. Para esto, nos enfocamos en el texto original o el documento para recuperar una métrica que permita una evaluación directa de los resúmenes generados automáticamente. Este enfoque es particularmente útil en casos en los que es difícil o costoso encontrar resúmenes de referencia. En este documento, presentamos una nueva métrica llamada Puntuación de Resumen sin Referencia (SUSWIR), que se basa en cuatro factores ya conocidos en la comunidad de resumenes de texto: Similitud Semántica, Redundancia, Relevancia y Análisis de Evitación de Sesgos, superando las desventajas de las métricas comunes. Por lo tanto, nuestro objetivo es cerrar una brecha en el entorno actual de evaluación de resúmenes de texto generados por máquinas. La nueva métrica se presenta teóricamente y se prueba en cinco conjuntos de datos de sus respectivos dominios. Los experimentos realizados arrojaron resultados notables, empleando la utilización de SUSWIR.