logo móvil
Contáctanos

Hacia redes neuronales super comprimidas para la identificación de objetos: descomposición tensorial de rango bajo cuantizado con autoatención

Autores: Liu, Baichen; Wang, Dongwei; Lv, Qi; Han, Zhi; Tang, Yandong

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Hacia redes neuronales super comprimidas para la identificación de objetos: descomposición tensorial de rango bajo cuantizado con autoatención


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Redes neuronales convolucionales
Métodos de compresión
Descomposición de baja rango
Cuantización
Rendimiento de la red
Conteo de parámetros

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 30

Citaciones: Sin citaciones


Descripción
Las redes neuronales convolucionales profundas tienen un gran número de parámetros y requieren un número significativo de operaciones de punto flotante durante la computación, lo que limita su despliegue en situaciones donde el espacio de almacenamiento es limitado y los recursos computacionales son insuficientes, como en teléfonos móviles y pequeños robots. Muchos métodos de compresión de redes han sido propuestos para abordar los problemas mencionados anteriormente, incluyendo la poda, la descomposición de rango bajo, la cuantificación, etc. Sin embargo, estos métodos suelen fracasar en lograr una relación de compresión significativa en términos del recuento de parámetros. Incluso cuando se logran altas tasas de compresión, el rendimiento de la red suele deteriorarse significativamente, lo que dificulta realizar tareas de manera efectiva. En este estudio, proponemos una representación más compacta para redes neuronales, llamada Descomposición de Tensor de Rango Bajo Cuantizado (QLTD), para súper comprimir redes neuronales convolucionales profundas. En primer lugar, empleamos la descomposición de Tucker de rango bajo para comprimir los pesos pre-entrenados. Posteriormente, para explotar aún más las redundancias dentro del tensor central y las matrices de factores obtenidas a través de la descomposición de Tucker, empleamos la cuantización vectorial para particionar y agrupar los pesos. Simultáneamente, introdujimos un módulo de auto-atención para cada tensor central y matriz de factores para mejorar la capacidad de respuesta en regiones críticas durante el entrenamiento. Los resultados de identificación de objetos en el experimento CIFAR10 mostraron que QLTD logró una relación de compresión de 35.43x, con menos del 1% de pérdida en precisión y una relación de compresión de 90.61x, con menos del 2% de pérdida en precisión. QLTD logró una relación de compresión significativa en términos del recuento de parámetros y logró un buen equilibrio entre la compresión de parámetros y el mantenimiento de la precisión de identificación.

Otros recursos que podrían interesarte

Temas Virtualpro