Aprendizaje multitarea con filtrado de características específicas de la tarea en condiciones de baja cantidad de datos
Autores: Lee, Sang-woo; Lee, Ryong; Seo, Min-seok; Park, Jong-chan; Noh, Hyeon-cheol; Ju, Jin-gi; Jang, Rae-young; Lee, Gun-woo; Choi, Myung-seok; Choi, Dong-geol
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Aprendizaje multitarea con filtrado de características específicas de la tarea en condiciones de baja cantidad de datos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Eficiente
Aprendizaje multitarea
Características
Condiciones de baja cantidad de datos
Específico de la tarea
Modelo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 62
Citaciones: Sin citaciones
El aprendizaje multitarea es un método computacionalmente eficiente para resolver múltiples tareas en un solo modelo multitarea, en lugar de múltiples modelos de una sola tarea. El MTL se espera que aprenda características visuales diversas y compartibles de múltiples conjuntos de datos. Sin embargo, el rendimiento del MTL generalmente no supera al aprendizaje de una sola tarea. Los métodos recientes de MTL tienden a utilizar cabezas específicas de tarea pesadas con grandes costos adicionales para generar características específicas de la tarea. En este trabajo, (1) validamos la eficacia del MTL en condiciones de pocos datos con arquitecturas de salida temprana, y (2) proponemos un módulo de filtrado de características simple con costos adicionales mínimos para generar características específicas de la tarea. Suponemos que, en condiciones de pocos datos, el modelo no puede aprender características útiles de bajo nivel debido a la cantidad limitada de datos. Demostramos empíricamente que el MTL puede mejorar significativamente el rendimiento en todas las tareas en condiciones de pocos datos. Optimizamos aún más la arquitectura de salida temprana mediante una búsqueda exhaustiva de la característica óptima para cada tarea. Además, proponemos un módulo de filtrado de características que selecciona características para cada tarea. Utilizando la arquitectura de salida temprana optimizada con el módulo de filtrado de características, mejoramos el 15.937% en ImageNet y el 4.847% en Places365 bajo la condición de pocos datos donde solo se dispone del 5% de los conjuntos de datos originales. Nuestro método se valida empíricamente en varias estructuras y diversas configuraciones de MTL.
Descripción
El aprendizaje multitarea es un método computacionalmente eficiente para resolver múltiples tareas en un solo modelo multitarea, en lugar de múltiples modelos de una sola tarea. El MTL se espera que aprenda características visuales diversas y compartibles de múltiples conjuntos de datos. Sin embargo, el rendimiento del MTL generalmente no supera al aprendizaje de una sola tarea. Los métodos recientes de MTL tienden a utilizar cabezas específicas de tarea pesadas con grandes costos adicionales para generar características específicas de la tarea. En este trabajo, (1) validamos la eficacia del MTL en condiciones de pocos datos con arquitecturas de salida temprana, y (2) proponemos un módulo de filtrado de características simple con costos adicionales mínimos para generar características específicas de la tarea. Suponemos que, en condiciones de pocos datos, el modelo no puede aprender características útiles de bajo nivel debido a la cantidad limitada de datos. Demostramos empíricamente que el MTL puede mejorar significativamente el rendimiento en todas las tareas en condiciones de pocos datos. Optimizamos aún más la arquitectura de salida temprana mediante una búsqueda exhaustiva de la característica óptima para cada tarea. Además, proponemos un módulo de filtrado de características que selecciona características para cada tarea. Utilizando la arquitectura de salida temprana optimizada con el módulo de filtrado de características, mejoramos el 15.937% en ImageNet y el 4.847% en Places365 bajo la condición de pocos datos donde solo se dispone del 5% de los conjuntos de datos originales. Nuestro método se valida empíricamente en varias estructuras y diversas configuraciones de MTL.