Aprendizaje de indicaciones guiado por conocimiento para clasificación de texto con pocas muestras
Autores: Wang, Liangguo; Chen, Ruoyu; Li, Li
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Aprendizaje de indicaciones guiado por conocimiento para clasificación de texto con pocas muestras
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje basado en indicaciones
Tareas de procesamiento del lenguaje natural
Escenarios de pocas muestras
Sondeo de conocimientos
Modelos de lenguaje preentrenados
Clasificación de texto
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
Recientemente, el aprendizaje basado en indicaciones ha mostrado un rendimiento impresionante en varias tareas de procesamiento de lenguaje natural en escenarios de poca cantidad de datos. El estudio previo sobre la exploración de conocimiento mostró que el éxito del aprendizaje por indicaciones contribuye al conocimiento implícito almacenado en los modelos de lenguaje preentrenados. Sin embargo, cómo este conocimiento implícito ayuda a resolver tareas posteriores sigue sin estar claro. En este trabajo, proponemos un método de aprendizaje por indicaciones guiado por el conocimiento que puede revelar conocimiento relevante para la clasificación de texto. Específicamente, se diseñaron una plantilla de indicaciones de conocimiento y dos marcos de trabajo multi-tarea, respectivamente. Los experimentos demostraron la superioridad de combinar conocimiento y aprendizaje por indicaciones en la clasificación de texto con poca cantidad de datos.
Descripción
Recientemente, el aprendizaje basado en indicaciones ha mostrado un rendimiento impresionante en varias tareas de procesamiento de lenguaje natural en escenarios de poca cantidad de datos. El estudio previo sobre la exploración de conocimiento mostró que el éxito del aprendizaje por indicaciones contribuye al conocimiento implícito almacenado en los modelos de lenguaje preentrenados. Sin embargo, cómo este conocimiento implícito ayuda a resolver tareas posteriores sigue sin estar claro. En este trabajo, proponemos un método de aprendizaje por indicaciones guiado por el conocimiento que puede revelar conocimiento relevante para la clasificación de texto. Específicamente, se diseñaron una plantilla de indicaciones de conocimiento y dos marcos de trabajo multi-tarea, respectivamente. Los experimentos demostraron la superioridad de combinar conocimiento y aprendizaje por indicaciones en la clasificación de texto con poca cantidad de datos.