En este trabajo, presentamos una red neuronal convolucional (CNN) llamada CGFA-CNN para la evaluación de calidad de imagen ciega (BIQA). Se utiliza una estrategia única de dos etapas que primero identifica el tipo de distorsión en una imagen utilizando la Sub-Red I y luego cuantifica esta distorsión utilizando la Sub-Red II. A diferencia de la mayoría de las redes neuronales profundas, extraemos características jerárquicas como descriptores para mejorar la representación de la imagen y diseñamos una capa de agregación de características de manera de entrenamiento de extremo a extremo aplicando codificación Fisher a vocabularios visuales modelados por modelos de mezcla gaussiana (GMMs). Considerando las distorsiones auténticas y sintéticas, la característica jerárquica contiene las características de una CNN entrenada en el conjunto de datos construido por nosotros mismos y una CNN entrenada en ImageNet. Evaluamos nuestro algoritmo en cuatro bases de datos públicas disponibles, y los resultados demuestran que nuestro CGFA-CNN tiene un rendimiento superior sobre otros métodos tanto en bases de datos sintéticas como auténticas.