logo móvil
Contáctanos

Reducido olvido en el aprendizaje continuo para el reconocimiento de entidades nombradas a través de la imitación de etiquetas suaves confiables

Autores: Zhang, Huan; Zhou, Long; Gu, Miaomiao

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Reducido olvido en el aprendizaje continuo para el reconocimiento de entidades nombradas a través de la imitación de etiquetas suaves confiables


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Aprendizaje continuo
Reconocimiento de entidades nombradas
CL-NER
Olvido catastrófico
Destilación de conocimiento
ConSOLI

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 31

Citaciones: Sin citaciones


Descripción
El Aprendizaje Continuo para el Reconocimiento de Entidades Nombradas (CL-NER) es una tarea crucial en el reconocimiento de conceptos emergentes al construir aplicaciones de procesamiento de lenguaje natural del mundo real. Involucra la actualización secuencial de un modelo NER existente con nuevos tipos de entidades mientras se retiene la información aprendida previamente. Sin embargo, los métodos actuales de CL están luchando con un desafío importante llamado olvido catastrófico. Debido al cambio semántico del tipo de no entidad, el problema se intensifica aún más en NER. La mayoría de los métodos de CL-NER existentes dependen de la destilación de conocimiento a través de las probabilidades de salida de entidades previamente aprendidas, lo que resulta en una estabilidad excesiva (reconocimiento de entidades antiguas) a expensas de la plasticidad (reconocimiento de nuevas entidades). Algunos trabajos recientes extienden aún más estos métodos al mejorar la distinción entre entidades antiguas y tipos de no entidad. Aunque estos métodos resultan en mejoras de rendimiento en general, el conocimiento preservado no garantiza necesariamente la retención de información relacionada con la tarea para las entidades más antiguas, lo que puede provocar caídas significativas en el rendimiento. Para abordar este problema manteniendo el rendimiento general, proponemos un método llamado Imitación de Etiqueta Blanda Confiada (ConSOLI) para el aprendizaje continuo en NER. Inspirado en métodos que equilibran la estabilidad y la plasticidad, ConSOLI incorpora un proceso de destilación de etiquetas blandas y aprendizaje de imitación de etiquetas blandas confiadas. El primero ayuda a recopilar el conocimiento relacionado con la tarea en el modelo antiguo y el último preserva aún más el conocimiento para que no se diluya en el proceso de aprendizaje continuo paso a paso. Además, ConSOLI demuestra mejoras significativas en el reconocimiento de los tipos de entidades más antiguas, logrando puntuaciones de Micro-F1 y Macro-F1 de hasta 8.72 y 9.72, respectivamente, abordando así el desafío del olvido catastrófico en CL-NER.

Otros recursos que podrían interesarte

Temas Virtualpro