logo móvil
Contáctanos

Ae-qdrop: hacia una cuantificación eficiente y precisa de baja precisión después del entrenamiento para una red neuronal convolucional

Autores: Li, Jixing; Chen, Gang; Jin, Min; Mao, Wenyu; Lu, Huaxiang

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Ae-qdrop: hacia una cuantificación eficiente y precisa de baja precisión después del entrenamiento para una red neuronal convolucional


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Por bloques
Reconstrucción
Redondeo adaptativo
Precisión de cuantificación
Post-entrenamiento
Optimización

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 35

Citaciones: Sin citaciones


Descripción
La reconstrucción por bloques con redondeo adaptativo ayuda a lograr una precisión aceptable de cuantificación posterior al entrenamiento de 4 bits. Sin embargo, el redondeo adaptativo es intensivo en tiempo y el espacio de optimización de los elementos de peso está limitado a un conjunto binario, lo que limita el rendimiento de los modelos cuantificados. La optimalidad de la reconstrucción por bloques requiere que los bloques de red posteriores permanezcan sin cuantificar. Para abordar esto, proponemos un esquema de cuantificación posterior al entrenamiento de dos etapas, AE-Qdrop, que abarca la reconstrucción por bloques y el ajuste fino global. En la etapa de reconstrucción por bloques, se introduce una estrategia de optimización progresiva como reemplazo del redondeo adaptativo, mejorando tanto la precisión de cuantificación como la eficiencia. Además, la integración de activación cuantificada con pesos aleatorios ayuda a mitigar el riesgo de sobreajuste. En la etapa de ajuste fino global, los pesos de cada bloque de red cuantificado se corrigen simultáneamente mediante la coincidencia de logit y la coincidencia de características. Los experimentos en tareas de clasificación de imágenes y detección de objetos validan que AE-Qdrop logra una alta precisión y una cuantificación eficiente. Para MobileNetV2 de 2 bits, AE-Qdrop supera a Qdrop en precisión de cuantificación en un 6.26%, y su eficiencia de cuantificación es cinco veces mayor.

Otros recursos que podrían interesarte

Temas Virtualpro