Mejora de la arquitectura de aprendizaje profundo basada en poda dinámica y fusión de capas
Autores: Li, Qi; Li, Hengyi; Meng, Lin
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Mejora de la arquitectura de aprendizaje profundo basada en poda dinámica y fusión de capas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Carga de trabajo
Arquitecturas de aprendizaje profundo
Poda
Algoritmo de compresión
A nivel de canal
A nivel de capa
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
La carga de trabajo pesada de las arquitecturas actuales de aprendizaje profundo dificulta significativamente la aplicación del aprendizaje profundo, especialmente en dispositivos con recursos limitados. La poda ha proporcionado una solución prometedora para comprimir los modelos de aprendizaje profundo inflados al eliminar las redundancias de las redes. Sin embargo, los métodos de poda existentes se centran principalmente en comprimir los canales superfluos sin considerar las redundancias a nivel de capa, lo que resulta en que los modelos podados de canales sigan sufriendo graves redundancias. Para mitigar este problema, proponemos un algoritmo de compresión efectivo para modelos de aprendizaje profundo que utiliza tanto técnicas de compresión a nivel de canal como a nivel de capa para optimizar los enormes modelos de aprendizaje profundo. En detalle, los canales se podan dinámicamente primero y luego el modelo se optimiza aún más fusionando las capas redundantes. Solo se produce una pérdida de rendimiento menor. Los resultados experimentales muestran que los cálculos de ResNet-110 se reducen en un 80.05%, sin embargo, la precisión solo disminuye en un 0.72%. Cuarenta y ocho capas convolucionales podrían ser descartadas de ResNet-110 sin pérdida de rendimiento, lo que demuestra plenamente la eficacia de la propuesta.
Descripción
La carga de trabajo pesada de las arquitecturas actuales de aprendizaje profundo dificulta significativamente la aplicación del aprendizaje profundo, especialmente en dispositivos con recursos limitados. La poda ha proporcionado una solución prometedora para comprimir los modelos de aprendizaje profundo inflados al eliminar las redundancias de las redes. Sin embargo, los métodos de poda existentes se centran principalmente en comprimir los canales superfluos sin considerar las redundancias a nivel de capa, lo que resulta en que los modelos podados de canales sigan sufriendo graves redundancias. Para mitigar este problema, proponemos un algoritmo de compresión efectivo para modelos de aprendizaje profundo que utiliza tanto técnicas de compresión a nivel de canal como a nivel de capa para optimizar los enormes modelos de aprendizaje profundo. En detalle, los canales se podan dinámicamente primero y luego el modelo se optimiza aún más fusionando las capas redundantes. Solo se produce una pérdida de rendimiento menor. Los resultados experimentales muestran que los cálculos de ResNet-110 se reducen en un 80.05%, sin embargo, la precisión solo disminuye en un 0.72%. Cuarenta y ocho capas convolucionales podrían ser descartadas de ResNet-110 sin pérdida de rendimiento, lo que demuestra plenamente la eficacia de la propuesta.