Resumen de Documentos Basado en Cobertura con Inyección de Ruido y Asociación de Palabras
Autores: Kim, Heechan; Lee, Soowon
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Resumen de Documentos Basado en Cobertura con Inyección de Ruido y Asociación de Palabras
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Resumen automático de documentos
Procesamiento de lenguaje natural
Modelos de aprendizaje profundo
Método de cobertura
Método de asociación de palabras
Función de pérdida de supresión
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La resumición automática de documentos es un campo del procesamiento del lenguaje natural que está mejorando rápidamente con el desarrollo de modelos de aprendizaje profundo de extremo a extremo. En este artículo, proponemos un nuevo modelo de resumición que consiste en tres métodos. El primero es un método de cobertura basado en la inyección de ruido que hace que el mecanismo de atención seleccione solo palabras importantes al definir la información del contexto anterior como ruido. Esto alivia el problema de que el modelo de resumición genera la misma secuencia de palabras repetidamente. El segundo es un método de asociación de palabras para actualizar la información de cada palabra al comparar la información del paso actual con la información de todos los pasos de decodificación anteriores. Según las palabras siguientes, esto capta un cambio en el significado de la palabra que ya ha sido decodificada. El tercero es un método que utiliza una función de pérdida de supresión que minimiza explícitamente las probabilidades de palabras que no son respuestas. El modelo de resumición propuesto mostró un buen rendimiento en algunas métricas de evaluación orientadas a la recuperación (ROUGE) en comparación con los modelos más avanzados en la tarea de resumición de CNN/Daily Mail, y los resultados se lograron con muy pocos pasos de aprendizaje en comparación con los modelos más avanzados.
Descripción
La resumición automática de documentos es un campo del procesamiento del lenguaje natural que está mejorando rápidamente con el desarrollo de modelos de aprendizaje profundo de extremo a extremo. En este artículo, proponemos un nuevo modelo de resumición que consiste en tres métodos. El primero es un método de cobertura basado en la inyección de ruido que hace que el mecanismo de atención seleccione solo palabras importantes al definir la información del contexto anterior como ruido. Esto alivia el problema de que el modelo de resumición genera la misma secuencia de palabras repetidamente. El segundo es un método de asociación de palabras para actualizar la información de cada palabra al comparar la información del paso actual con la información de todos los pasos de decodificación anteriores. Según las palabras siguientes, esto capta un cambio en el significado de la palabra que ya ha sido decodificada. El tercero es un método que utiliza una función de pérdida de supresión que minimiza explícitamente las probabilidades de palabras que no son respuestas. El modelo de resumición propuesto mostró un buen rendimiento en algunas métricas de evaluación orientadas a la recuperación (ROUGE) en comparación con los modelos más avanzados en la tarea de resumición de CNN/Daily Mail, y los resultados se lograron con muy pocos pasos de aprendizaje en comparación con los modelos más avanzados.