Método adaptativo de compartición de parámetros duros basado en aprendizaje profundo multi-tarea
Autores: Wang, Hongxia; Jin, Xiao; Du, Yukun; Zhang, Nan; Hao, Hongxia
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Método adaptativo de compartición de parámetros duros basado en aprendizaje profundo multi-tarea
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Aprendizaje multitarea
Modelos MTL profundos
Uso compartido de parámetros
Transferencia negativa de conocimiento
Nodos adaptativos
Mejora del rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
El aprendizaje multitarea (MTL) mejora el rendimiento logrado en cada tarea al explotar la información relevante entre tareas. En la actualidad, la mayoría de los modelos MTL profundos principales se basan en mecanismos de intercambio de parámetros duros, lo que puede reducir el riesgo de sobreajuste del modelo. Sin embargo, puede ocurrir una transferencia de conocimiento negativa, lo que dificulta la mejora del rendimiento logrado para cada tarea. En este artículo, para situaciones en las que se entrenan múltiples tareas conjuntamente, proponemos el método de intercambio de parámetros duros adaptativos. Sobre la base del método de intercambio de parámetros duros adaptativos, el número de nodos en la red se actualiza dinámicamente estableciendo un umbral de signo basado en la diferencia de gradientes continuos y un umbral de iteración de entrenamiento inicial a través de las relaciones entre los parámetros y la función de pérdida. Después de que cada tarea utilice completamente la información compartida, se utilizan nodos adaptativos para optimizar aún más cada tarea, reduciendo el impacto de la migración negativa. Mediante estudios de simulación y análisis de instancias, demostramos la prueba teórica de que el rendimiento del método propuesto es mejor que el del método competidor.
Descripción
El aprendizaje multitarea (MTL) mejora el rendimiento logrado en cada tarea al explotar la información relevante entre tareas. En la actualidad, la mayoría de los modelos MTL profundos principales se basan en mecanismos de intercambio de parámetros duros, lo que puede reducir el riesgo de sobreajuste del modelo. Sin embargo, puede ocurrir una transferencia de conocimiento negativa, lo que dificulta la mejora del rendimiento logrado para cada tarea. En este artículo, para situaciones en las que se entrenan múltiples tareas conjuntamente, proponemos el método de intercambio de parámetros duros adaptativos. Sobre la base del método de intercambio de parámetros duros adaptativos, el número de nodos en la red se actualiza dinámicamente estableciendo un umbral de signo basado en la diferencia de gradientes continuos y un umbral de iteración de entrenamiento inicial a través de las relaciones entre los parámetros y la función de pérdida. Después de que cada tarea utilice completamente la información compartida, se utilizan nodos adaptativos para optimizar aún más cada tarea, reduciendo el impacto de la migración negativa. Mediante estudios de simulación y análisis de instancias, demostramos la prueba teórica de que el rendimiento del método propuesto es mejor que el del método competidor.