Los métodos existentes de clasificación de imágenes basados en redes neuronales convolucionales suelen utilizar una gran cantidad de muestras para aprender características de clasificación de forma jerárquica, lo que causa problemas de sobreajuste y propagación de errores capa por capa. Por lo tanto, son vulnerables a muestras adversarias generadas agregando perturbaciones imperceptibles a las muestras de entrada. Para abordar el problema anterior, proponemos un modelo de prioridad de color impulsado por cognición para memorizar los atributos de color de las muestras objetivo inspirado en las características de la memoria humana. En la etapa de inferencia, las prioridades de color se indexan desde la memoria y se fusionan con las características de las redes neuronales convolucionales para lograr una clasificación de imágenes robusta. El modelo de prioridad de color propuesto es impulsado por cognición y no tiene parámetros de entrenamiento, por lo tanto, tiene una fuerte generalización y puede defenderse eficazmente contra muestras adversarias. Además, nuestro método combina directamente las características del modelo previo con la probabilidad de clasificación de la red neuronal convolucional, sin cambiar la estructura de la red y sus parámetros del algoritmo existente. Puede combinarse con otros métodos de defensa contra ataques adversarios, como varios módulos de preprocesamiento como PixelDefense o métodos de entrenamiento adversario, para mejorar la robustez de la clasificación de imágenes. Los experimentos en varios conjuntos de datos de referencia muestran que el método propuesto mejora la capacidad de anti-interferencia de los algoritmos de clasificación de imágenes.