logo móvil
Contáctanos

Método adaptativo de compartición de parámetros duros basado en aprendizaje profundo multi-tarea

Autores: Wang, Hongxia; Jin, Xiao; Du, Yukun; Zhang, Nan; Hao, Hongxia

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Método adaptativo de compartición de parámetros duros basado en aprendizaje profundo multi-tarea


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Aprendizaje multitarea
Modelos MTL profundos
Uso compartido de parámetros
Transferencia negativa de conocimiento
Nodos adaptativos
Mejora del rendimiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 34

Citaciones: Sin citaciones


Descripción
El aprendizaje multitarea (MTL) mejora el rendimiento logrado en cada tarea al explotar la información relevante entre tareas. En la actualidad, la mayoría de los modelos MTL profundos principales se basan en mecanismos de intercambio de parámetros duros, lo que puede reducir el riesgo de sobreajuste del modelo. Sin embargo, puede ocurrir una transferencia de conocimiento negativa, lo que dificulta la mejora del rendimiento logrado para cada tarea. En este artículo, para situaciones en las que se entrenan múltiples tareas conjuntamente, proponemos el método de intercambio de parámetros duros adaptativos. Sobre la base del método de intercambio de parámetros duros adaptativos, el número de nodos en la red se actualiza dinámicamente estableciendo un umbral de signo basado en la diferencia de gradientes continuos y un umbral de iteración de entrenamiento inicial a través de las relaciones entre los parámetros y la función de pérdida. Después de que cada tarea utilice completamente la información compartida, se utilizan nodos adaptativos para optimizar aún más cada tarea, reduciendo el impacto de la migración negativa. Mediante estudios de simulación y análisis de instancias, demostramos la prueba teórica de que el rendimiento del método propuesto es mejor que el del método competidor.

Otros recursos que podrían interesarte

Temas Virtualpro