Agregación y poda para inferencia multi-tarea incremental continua
Autores: Li, Lining; Cen, Fenglin; Feng, Quan; Xu, Ji
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Agregación y poda para inferencia multi-tarea incremental continua
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Sistemas móviles con recursos limitados
Tareas añadidas incrementalmente
Requisitos en evolución dinámica
Poda agregada
Redes neuronales profundas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
En sistemas móviles con recursos limitados, manejar eficientemente tareas añadidas incrementalmente bajo requisitos en evolución dinámica es un desafío crítico. Para abordar esto, proponemos el podado agregado (AP), un marco que combina el podado con la agregación de filtros para optimizar redes neuronales profundas para el aprendizaje multi-tarea incremental continuo (MTL). El enfoque reduce la redundancia al podar y agregar dinámicamente filtros similares entre tareas, garantizando un uso eficiente de los recursos computacionales manteniendo un alto rendimiento específico de la tarea. La estrategia de agregación permite un intercambio efectivo de filtros entre tareas, reduciendo significativamente la complejidad del modelo. Además, se incorpora un mecanismo adaptativo en AP para ajustar el intercambio de filtros basado en la similitud de tareas, mejorando aún más la eficiencia. Experimentos en diferentes redes de base, incluyendo LeNet, VGG, ResNet, entre otros, muestran que AP logra una reducción sustancial de parámetros y ahorro computacional con una pérdida mínima de precisión, superando a los métodos de podado existentes e incluso superando las técnicas de MTL sin podar. El diseño agnóstico de la arquitectura de AP también permite extensiones potenciales a arquitecturas complejas como las redes neuronales de grafos (GNNs), ofreciendo una solución prometedora para GNNs multi-tarea incrementales.
Descripción
En sistemas móviles con recursos limitados, manejar eficientemente tareas añadidas incrementalmente bajo requisitos en evolución dinámica es un desafío crítico. Para abordar esto, proponemos el podado agregado (AP), un marco que combina el podado con la agregación de filtros para optimizar redes neuronales profundas para el aprendizaje multi-tarea incremental continuo (MTL). El enfoque reduce la redundancia al podar y agregar dinámicamente filtros similares entre tareas, garantizando un uso eficiente de los recursos computacionales manteniendo un alto rendimiento específico de la tarea. La estrategia de agregación permite un intercambio efectivo de filtros entre tareas, reduciendo significativamente la complejidad del modelo. Además, se incorpora un mecanismo adaptativo en AP para ajustar el intercambio de filtros basado en la similitud de tareas, mejorando aún más la eficiencia. Experimentos en diferentes redes de base, incluyendo LeNet, VGG, ResNet, entre otros, muestran que AP logra una reducción sustancial de parámetros y ahorro computacional con una pérdida mínima de precisión, superando a los métodos de podado existentes e incluso superando las técnicas de MTL sin podar. El diseño agnóstico de la arquitectura de AP también permite extensiones potenciales a arquitecturas complejas como las redes neuronales de grafos (GNNs), ofreciendo una solución prometedora para GNNs multi-tarea incrementales.