Como algoritmo clásico de inteligencia artificial, el algoritmo de red neuronal convolucional (CNN) juega un papel importante en el reconocimiento y clasificación de imágenes y se está aplicando gradualmente en el sistema de Internet de las Cosas (IoT). En este artículo se propone un acelerador CNN compacto para el Sistema en Chip (SoC) de punto final de IoT para satisfacer las necesidades de cálculos de CNN. Basándose en el análisis de la estructura de CNN, se diseñan módulos funcionales básicos de CNN como el circuito de convolución y el circuito de agrupación con un ancho de banda de datos bajo y un área más pequeña, y se construye un acelerador en forma de cuatro cadenas de aceleración. Después de completar el diseño de la unidad de aceleración, se utiliza el Cortex-M3 para construir un SoC de verificación y la plataforma de verificación diseñada se implementa en el FPGA para evaluar el consumo de recursos y el análisis de rendimiento del acelerador CNN. El acelerador CNN logró un rendimiento de 6.54 GOPS (operaciones por segundo) consumiendo 4901 LUTs sin utilizar multiplicadores de hardware. La comparación muestra que el acelerador compacto propuesto en este artículo aumenta la potencia computacional de CNN del SoC basado en el núcleo Cortex-M3 en dos veces en comparación con el SoC Cortex-A7 de cuatro núcleos y el 67% de la potencia computacional del SoC Cortex-A53 de ocho núcleos.