Redes neuronales gráficas cuantizadas para clasificación de imágenes
Autores: Xu, Xinbiao; Ma, Liyan; Zeng, Tieyong; Huang, Qinghua
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Redes neuronales gráficas cuantizadas para clasificación de imágenes
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Cuantificación
Redes neuronales gráficas
Clasificación de imágenes
Cuantización de atención
Destilación de cuantización estocástica
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
Los investigadores han recurrido a la cuantificación del modelo para comprimir y acelerar las redes neuronales gráficas (GNNs). Sin embargo, siguen existiendo varios desafíos: (1) las funciones de cuantificación pasan por alto los valores atípicos en la distribución, lo que lleva a un aumento de los errores de cuantificación; (2) la dependencia de modelos docentes de precisión completa resulta en una mayor sobrecarga computacional y de memoria. Para abordar estos problemas, este estudio introduce un nuevo marco llamado redes neuronales gráficas cuantizadas para la clasificación de imágenes (QGNN-IC), que incorpora una nueva función de cuantificación, cuantificación de Pauta (PQ), y dos innovadores métodos de auto-destilación, destilación de cuantificación de atención (AQD) y destilación de cuantificación estocástica (SQD). Específicamente, PQ utiliza las características estadísticas de la distribución para eliminar eficazmente los valores atípicos, promoviendo así una cuantificación detallada y reduciendo los errores de cuantificación. AQD mejora la capacidad de extracción de información semántica al aprender de canales beneficiosos a través de la atención. SQD mejora la robustez de la cuantificación a través de la cuantificación estocástica. AQD y SQD mejoran significativamente el rendimiento del modelo cuantizado con una sobrecarga mínima. Experimentos extensos muestran que QGNN-IC no solo supera los métodos de cuantificación del estado del arte existentes, sino que también demuestra una generalizabilidad robusta.
Descripción
Los investigadores han recurrido a la cuantificación del modelo para comprimir y acelerar las redes neuronales gráficas (GNNs). Sin embargo, siguen existiendo varios desafíos: (1) las funciones de cuantificación pasan por alto los valores atípicos en la distribución, lo que lleva a un aumento de los errores de cuantificación; (2) la dependencia de modelos docentes de precisión completa resulta en una mayor sobrecarga computacional y de memoria. Para abordar estos problemas, este estudio introduce un nuevo marco llamado redes neuronales gráficas cuantizadas para la clasificación de imágenes (QGNN-IC), que incorpora una nueva función de cuantificación, cuantificación de Pauta (PQ), y dos innovadores métodos de auto-destilación, destilación de cuantificación de atención (AQD) y destilación de cuantificación estocástica (SQD). Específicamente, PQ utiliza las características estadísticas de la distribución para eliminar eficazmente los valores atípicos, promoviendo así una cuantificación detallada y reduciendo los errores de cuantificación. AQD mejora la capacidad de extracción de información semántica al aprender de canales beneficiosos a través de la atención. SQD mejora la robustez de la cuantificación a través de la cuantificación estocástica. AQD y SQD mejoran significativamente el rendimiento del modelo cuantizado con una sobrecarga mínima. Experimentos extensos muestran que QGNN-IC no solo supera los métodos de cuantificación del estado del arte existentes, sino que también demuestra una generalizabilidad robusta.