Aprendizaje con pocas muestras basado en atención mejorada dimensionalmente y autodestilación de estandarización de logit
Autores: Tang, Yuhong; Li, Guang; Zhang, Ming; Li, Jianjun
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Aprendizaje con pocas muestras basado en atención mejorada dimensionalmente y autodestilación de estandarización de logit
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje de pocas muestras
Métodos de transferencia de aprendizaje
Mecanismos de atención
Módulo de atención dimensionalmente mejorado
Destilación de conocimiento
Estandarización de logit.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
El aprendizaje de pocas muestras (FSL) es un problema desafiante. Los métodos de transferencia de aprendizaje ofrecen una solución directa y efectiva al FSL mediante el aprovechamiento de modelos pre-entrenados y generalizándolos a nuevas tareas. Sin embargo, los modelos pre-entrenados a menudo carecen de la capacidad para resaltar y enfatizar características relevantes, una brecha que los mecanismos de atención pueden llenar. Desafortunadamente, los mecanismos de atención existentes encuentran problemas como la alta complejidad e información de atención incompleta. Para abordar estos problemas, proponemos un módulo de atención mejorado dimensionalmente (DEA) para FSL.
Descripción
El aprendizaje de pocas muestras (FSL) es un problema desafiante. Los métodos de transferencia de aprendizaje ofrecen una solución directa y efectiva al FSL mediante el aprovechamiento de modelos pre-entrenados y generalizándolos a nuevas tareas. Sin embargo, los modelos pre-entrenados a menudo carecen de la capacidad para resaltar y enfatizar características relevantes, una brecha que los mecanismos de atención pueden llenar. Desafortunadamente, los mecanismos de atención existentes encuentran problemas como la alta complejidad e información de atención incompleta. Para abordar estos problemas, proponemos un módulo de atención mejorado dimensionalmente (DEA) para FSL.