logo móvil
Contáctanos

Clg: generación de etiquetas contrastivas con conocimiento para el aprendizaje de pocas muestras

Autores: Ma, Han; Fan, Baoyu; Ng, Benjamin K.; Lam, Chan-Tong

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Clg: generación de etiquetas contrastivas con conocimiento para el aprendizaje de pocas muestras


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Modelos a gran escala
Problema de pocas muestras
Datos de entrenamiento
Generación de etiquetas contrastivas
Conocimiento
Pérdida de fusión de múltiples tareas

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 37

Citaciones: Sin citaciones


Descripción
Entrenar modelos a gran escala requiere de grandes cantidades de datos. Sin embargo, el problema de poca muestra es difícil de resolver debido a la falta de datos de entrenamiento. Es valioso utilizar solo unas pocas muestras de entrenamiento para realizar la tarea, como usar grandes conjuntos de datos para escenarios de aplicación debido a problemas de costo y recursos. Por lo tanto, para abordar este problema, presentamos un método simple y eficiente, generación de etiquetas contrastivas con conocimiento para el aprendizaje de pocas muestras (CLG). Específicamente, nosotros: (1) Proponemos la generación de etiquetas contrastivas para alinear la etiqueta con la entrada de datos y mejorar las representaciones de características; (2) Proponemos un filtro de conocimiento de etiquetas para evitar ruido durante la inyección del conocimiento explícito en los datos y etiquetas; (3) Empleamos una máscara de logits de etiquetas para simplificar la tarea; (4) Empleamos una pérdida de fusión de múltiples tareas para aprender diferentes perspectivas del conjunto de entrenamiento. Los experimentos demuestran que CLG logra una precisión del 59.237%, que es más de aproximadamente un 3% en comparación con la mejor línea de base. Muestra que CLG obtiene mejores características y brinda al modelo más información sobre las oraciones de entrada para mejorar la capacidad de clasificación.

Otros recursos que podrían interesarte

Temas Virtualpro