Evo-MAML: meta-aprendizaje con gradiente evolutivo
Autores: Chen, Jiaxing; Yuan, Weilin; Chen, Shaofei; Hu, Zhenzhen; Li, Peng
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Evo-MAML: meta-aprendizaje con gradiente evolutivo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Adaptarse rápidamente
Mejorar la generalización del modelo
Aprendizaje de pocas muestras
Meta-aprendizaje
Meta-Aprendizaje Agnóstico al Modelo
Evo-MAML
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 55
Citaciones: Sin citaciones
Cómo adaptarse rápidamente a nuevas tareas y mejorar la generalización del modelo a través del aprendizaje de pocas muestras sigue siendo un desafío significativo en el meta-aprendizaje. El Aprendizaje Meta Agnóstico al Modelo (MAML) se ha convertido en un enfoque poderoso, que ofrece un marco simple con una excelente generalidad. Sin embargo, el requisito de calcular derivadas de segundo orden y retener un grafo de cálculo largo plantea considerables cargas computacionales y de memoria, limitando la practicidad de MAML. Para abordar este problema, proponemos Evolving MAML (Evo-MAML), un método de meta-aprendizaje basado en optimización que incorpora un gradiente evolutivo dentro del bucle interno. Evo-MAML evita la información de segundo orden, lo que resulta en una complejidad computacional reducida. Los resultados experimentales muestran que Evo-MAML exhibe una mayor generalidad y un rendimiento competitivo en comparación con enfoques de aproximación de primer orden existentes, lo que lo hace adecuado tanto para el aprendizaje de pocas muestras como para entornos de aprendizaje meta-reforzado.
Descripción
Cómo adaptarse rápidamente a nuevas tareas y mejorar la generalización del modelo a través del aprendizaje de pocas muestras sigue siendo un desafío significativo en el meta-aprendizaje. El Aprendizaje Meta Agnóstico al Modelo (MAML) se ha convertido en un enfoque poderoso, que ofrece un marco simple con una excelente generalidad. Sin embargo, el requisito de calcular derivadas de segundo orden y retener un grafo de cálculo largo plantea considerables cargas computacionales y de memoria, limitando la practicidad de MAML. Para abordar este problema, proponemos Evolving MAML (Evo-MAML), un método de meta-aprendizaje basado en optimización que incorpora un gradiente evolutivo dentro del bucle interno. Evo-MAML evita la información de segundo orden, lo que resulta en una complejidad computacional reducida. Los resultados experimentales muestran que Evo-MAML exhibe una mayor generalidad y un rendimiento competitivo en comparación con enfoques de aproximación de primer orden existentes, lo que lo hace adecuado tanto para el aprendizaje de pocas muestras como para entornos de aprendizaje meta-reforzado.