Aprendizaje de indicaciones mejorado por conocimiento para clasificación de texto con pocas muestras
Autores: Liu, Jinshuo; Yang, Lu
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Aprendizaje de indicaciones mejorado por conocimiento para clasificación de texto con pocas muestras
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Métodos de clasificación
Ajuste fino de modelos de lenguaje pre-entrenados
Clasificación de texto de pocas muestras
Aprendizaje de indicaciones
Ajuste estructurado de indicaciones de conocimiento
Ajuste de indicaciones mejorado por conocimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 47
Citaciones: Sin citaciones
Los métodos de clasificación basados en el ajuste fino de modelos de lenguaje pre-entrenados a menudo requieren un gran número de muestras etiquetadas; por lo tanto, la clasificación de texto de pocas muestras ha atraído considerable atención. El aprendizaje de indicaciones es un método efectivo para abordar tareas de clasificación de texto de pocas muestras en entornos de recursos limitados. La esencia del ajuste de indicaciones es insertar tokens en la entrada, convirtiendo así una tarea de clasificación de texto en un problema de modelado de lenguaje enmascarado. Sin embargo, la construcción de plantillas de indicaciones y verbalizadores adecuados sigue siendo un desafío, ya que las indicaciones manuales a menudo requieren conocimientos expertos, mientras que la construcción automática de indicaciones es consumidora de tiempo. Además, el extenso conocimiento contenido en entidades y relaciones no debe ser ignorado. Para abordar estos problemas, proponemos un método de ajuste de indicaciones de conocimiento estructurado (SKPT), que es un enfoque de ajuste de indicaciones mejorado con conocimiento. Específicamente, SKPT incluye tres componentes: plantilla de indicaciones, verbalizador de indicaciones y estrategias de entrenamiento. Primero, insertamos tokens virtuales en la plantilla de indicaciones basados en triples abiertos para introducir conocimiento externo. Segundo, utilizamos un verbalizador informado mejorado para expandir y filtrar las palabras de etiqueta. Finalmente, utilizamos restricciones de conocimiento estructurado durante la fase de entrenamiento para optimizar el modelo. A través de experimentos extensos en tareas de clasificación de texto de pocas muestras con diferentes configuraciones, se ha demostrado la efectividad de nuestro modelo.
Descripción
Los métodos de clasificación basados en el ajuste fino de modelos de lenguaje pre-entrenados a menudo requieren un gran número de muestras etiquetadas; por lo tanto, la clasificación de texto de pocas muestras ha atraído considerable atención. El aprendizaje de indicaciones es un método efectivo para abordar tareas de clasificación de texto de pocas muestras en entornos de recursos limitados. La esencia del ajuste de indicaciones es insertar tokens en la entrada, convirtiendo así una tarea de clasificación de texto en un problema de modelado de lenguaje enmascarado. Sin embargo, la construcción de plantillas de indicaciones y verbalizadores adecuados sigue siendo un desafío, ya que las indicaciones manuales a menudo requieren conocimientos expertos, mientras que la construcción automática de indicaciones es consumidora de tiempo. Además, el extenso conocimiento contenido en entidades y relaciones no debe ser ignorado. Para abordar estos problemas, proponemos un método de ajuste de indicaciones de conocimiento estructurado (SKPT), que es un enfoque de ajuste de indicaciones mejorado con conocimiento. Específicamente, SKPT incluye tres componentes: plantilla de indicaciones, verbalizador de indicaciones y estrategias de entrenamiento. Primero, insertamos tokens virtuales en la plantilla de indicaciones basados en triples abiertos para introducir conocimiento externo. Segundo, utilizamos un verbalizador informado mejorado para expandir y filtrar las palabras de etiqueta. Finalmente, utilizamos restricciones de conocimiento estructurado durante la fase de entrenamiento para optimizar el modelo. A través de experimentos extensos en tareas de clasificación de texto de pocas muestras con diferentes configuraciones, se ha demostrado la efectividad de nuestro modelo.