Recompensa de meta-poda: Aprendizaje meta con recompensas para la poda de canales
Autores: Shibu, Athul; Kumar, Abhishek; Jung, Heechul; Lee, Dong-Gyu
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Recompensa de meta-poda: Aprendizaje meta con recompensas para la poda de canales
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Redes neuronales convolucionales
Eficiencia
Modelos de aprendizaje profundo
Algoritmo de poda meta recompensado
Compresión de modelos
Implementación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 40
Citaciones: Sin citaciones
Las redes neuronales convolucionales (CNN) han ganado reconocimiento por su notable rendimiento en diversas tareas. Sin embargo, la gran cantidad de parámetros y las demandas computacionales plantean desafíos, especialmente en dispositivos con recursos limitados. En respuesta a estos desafíos, este artículo presenta un enfoque novedoso destinado a mejorar la eficiencia de los modelos de aprendizaje profundo. Nuestro método introduce el concepto de coeficientes de precisión y eficiencia, ofreciendo un mecanismo de control detallado para equilibrar la compensación entre la precisión de la red y la eficiencia computacional. En el núcleo de nuestro enfoque se encuentra el algoritmo de poda meta recompensado, que guía el entrenamiento de la red neuronal para generar configuraciones de pesos de modelos podados. La selección de este modelo podado se basa en aproximaciones de los parámetros finales del modelo, y se controla precisamente a través de una función de recompensa. Esta función de recompensa nos permite adaptar el proceso de optimización, lo que conduce a un ajuste fino más efectivo y un mejor rendimiento del modelo. Experimentos y evaluaciones extensos subrayan la superioridad de nuestro método propuesto en comparación con las técnicas de vanguardia. Realizamos experimentos rigurosos de poda en arquitecturas bien establecidas como ResNet-50, MobileNetV1 y MobileNetV2. Los resultados no solo validan la eficacia de nuestro enfoque, sino que también destacan su potencial para avanzar significativamente en el campo de la compresión de modelos y su implementación en dispositivos de borde con recursos limitados.
Descripción
Las redes neuronales convolucionales (CNN) han ganado reconocimiento por su notable rendimiento en diversas tareas. Sin embargo, la gran cantidad de parámetros y las demandas computacionales plantean desafíos, especialmente en dispositivos con recursos limitados. En respuesta a estos desafíos, este artículo presenta un enfoque novedoso destinado a mejorar la eficiencia de los modelos de aprendizaje profundo. Nuestro método introduce el concepto de coeficientes de precisión y eficiencia, ofreciendo un mecanismo de control detallado para equilibrar la compensación entre la precisión de la red y la eficiencia computacional. En el núcleo de nuestro enfoque se encuentra el algoritmo de poda meta recompensado, que guía el entrenamiento de la red neuronal para generar configuraciones de pesos de modelos podados. La selección de este modelo podado se basa en aproximaciones de los parámetros finales del modelo, y se controla precisamente a través de una función de recompensa. Esta función de recompensa nos permite adaptar el proceso de optimización, lo que conduce a un ajuste fino más efectivo y un mejor rendimiento del modelo. Experimentos y evaluaciones extensos subrayan la superioridad de nuestro método propuesto en comparación con las técnicas de vanguardia. Realizamos experimentos rigurosos de poda en arquitecturas bien establecidas como ResNet-50, MobileNetV1 y MobileNetV2. Los resultados no solo validan la eficacia de nuestro enfoque, sino que también destacan su potencial para avanzar significativamente en el campo de la compresión de modelos y su implementación en dispositivos de borde con recursos limitados.