Filtrado de poda con aproximación convolucional marco de modelo pequeño
Autores: Intraraprasit, Monthon; Chitsobhuk, Orachat
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Filtrado de poda con aproximación convolucional marco de modelo pequeño
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Redes neuronales convolucionales
Poda de filtros
Marco de trabajo casm
Tiempo computacional
Requisitos de almacenamiento
Mapas de características
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 21
Citaciones: Sin citaciones
Las redes neuronales convolucionales (CNNs) se utilizan ampliamente en visión por computadora; sin embargo, plantean desafíos en términos de tiempo computacional y requisitos de almacenamiento. Para abordar este problema, un enfoque bien conocido es la poda de filtros. Sin embargo, el ajuste fino de los modelos podados requiere una potencia informática sustancial y un gran conjunto de datos de reentrenamiento. Para restaurar el rendimiento del modelo después de podar cada capa, proponemos el marco de Modelo Pequeño de Aproximación Convolucional (CASM). CASM implica entrenar un modelo compacto con los núcleos restantes y optimizar sus pesos para restaurar mapas de características que se asemejen a los núcleos originales. Este método requiere menos complejidad y menos muestras de entrenamiento en comparación con el ajuste fino básico. Evaluamos el rendimiento de CASM en los conjuntos de datos CIFAR-10 e ImageNet utilizando los modelos VGG-16 y ResNet-50. Los resultados experimentales demuestran que CASM supera el marco de ajuste fino básico en términos de aceleración de tiempo (3.3 veces más rápido), requiriendo un conjunto de datos más pequeño para la recuperación del rendimiento después de la poda y logrando una precisión mejorada.
Descripción
Las redes neuronales convolucionales (CNNs) se utilizan ampliamente en visión por computadora; sin embargo, plantean desafíos en términos de tiempo computacional y requisitos de almacenamiento. Para abordar este problema, un enfoque bien conocido es la poda de filtros. Sin embargo, el ajuste fino de los modelos podados requiere una potencia informática sustancial y un gran conjunto de datos de reentrenamiento. Para restaurar el rendimiento del modelo después de podar cada capa, proponemos el marco de Modelo Pequeño de Aproximación Convolucional (CASM). CASM implica entrenar un modelo compacto con los núcleos restantes y optimizar sus pesos para restaurar mapas de características que se asemejen a los núcleos originales. Este método requiere menos complejidad y menos muestras de entrenamiento en comparación con el ajuste fino básico. Evaluamos el rendimiento de CASM en los conjuntos de datos CIFAR-10 e ImageNet utilizando los modelos VGG-16 y ResNet-50. Los resultados experimentales demuestran que CASM supera el marco de ajuste fino básico en términos de aceleración de tiempo (3.3 veces más rápido), requiriendo un conjunto de datos más pequeño para la recuperación del rendimiento después de la poda y logrando una precisión mejorada.