Ae-qdrop: hacia una cuantificación eficiente y precisa de baja precisión después del entrenamiento para una red neuronal convolucional
Autores: Li, Jixing; Chen, Gang; Jin, Min; Mao, Wenyu; Lu, Huaxiang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Ae-qdrop: hacia una cuantificación eficiente y precisa de baja precisión después del entrenamiento para una red neuronal convolucional
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Por bloques
Reconstrucción
Redondeo adaptativo
Precisión de cuantificación
Post-entrenamiento
Optimización
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
La reconstrucción por bloques con redondeo adaptativo ayuda a lograr una precisión aceptable de cuantificación posterior al entrenamiento de 4 bits. Sin embargo, el redondeo adaptativo es intensivo en tiempo y el espacio de optimización de los elementos de peso está limitado a un conjunto binario, lo que limita el rendimiento de los modelos cuantificados. La optimalidad de la reconstrucción por bloques requiere que los bloques de red posteriores permanezcan sin cuantificar. Para abordar esto, proponemos un esquema de cuantificación posterior al entrenamiento de dos etapas, AE-Qdrop, que abarca la reconstrucción por bloques y el ajuste fino global. En la etapa de reconstrucción por bloques, se introduce una estrategia de optimización progresiva como reemplazo del redondeo adaptativo, mejorando tanto la precisión de cuantificación como la eficiencia. Además, la integración de activación cuantificada con pesos aleatorios ayuda a mitigar el riesgo de sobreajuste. En la etapa de ajuste fino global, los pesos de cada bloque de red cuantificado se corrigen simultáneamente mediante la coincidencia de logit y la coincidencia de características. Los experimentos en tareas de clasificación de imágenes y detección de objetos validan que AE-Qdrop logra una alta precisión y una cuantificación eficiente. Para MobileNetV2 de 2 bits, AE-Qdrop supera a Qdrop en precisión de cuantificación en un 6.26%, y su eficiencia de cuantificación es cinco veces mayor.
Descripción
La reconstrucción por bloques con redondeo adaptativo ayuda a lograr una precisión aceptable de cuantificación posterior al entrenamiento de 4 bits. Sin embargo, el redondeo adaptativo es intensivo en tiempo y el espacio de optimización de los elementos de peso está limitado a un conjunto binario, lo que limita el rendimiento de los modelos cuantificados. La optimalidad de la reconstrucción por bloques requiere que los bloques de red posteriores permanezcan sin cuantificar. Para abordar esto, proponemos un esquema de cuantificación posterior al entrenamiento de dos etapas, AE-Qdrop, que abarca la reconstrucción por bloques y el ajuste fino global. En la etapa de reconstrucción por bloques, se introduce una estrategia de optimización progresiva como reemplazo del redondeo adaptativo, mejorando tanto la precisión de cuantificación como la eficiencia. Además, la integración de activación cuantificada con pesos aleatorios ayuda a mitigar el riesgo de sobreajuste. En la etapa de ajuste fino global, los pesos de cada bloque de red cuantificado se corrigen simultáneamente mediante la coincidencia de logit y la coincidencia de características. Los experimentos en tareas de clasificación de imágenes y detección de objetos validan que AE-Qdrop logra una alta precisión y una cuantificación eficiente. Para MobileNetV2 de 2 bits, AE-Qdrop supera a Qdrop en precisión de cuantificación en un 6.26%, y su eficiencia de cuantificación es cinco veces mayor.