El aprendizaje por refuerzo cuántico (QRL) a menudo se evalúa bajo suposiciones idealizadas y sin ruido, sin embargo, los dispositivos cuánticos realistas inevitablemente introducen ruido que puede degradar severamente el rendimiento. Este artículo mejora la robustez del aprendizaje profundo cuántico Q-learning (QDQN) rediseñando el circuito cuántico variacional (VQC) utilizado en su aproximador de función de valor. Motivados por los recientes avances en redes neuronales cuánticas convolucionales (QCNN), construimos cuatro variantes de VQC inspiradas en QCNN (Modelos A-D) combinando bloques de construcción de dos qubits representativos de QCNN con una capa completamente conectada (de todos a todos) explícita. Usando un protocolo de evaluación de 10 pliegues a un nivel de ruido fijo p = 0.005, el Modelo D logra la mejor robustez, reduciendo el número medio de episodios requeridos para alcanzar una recompensa objetivo de 1981 (línea base) a 1243. Bajo un criterio de éxito más estricto, el Modelo D también duplica el límite de tolerancia al ruido observado empíricamente de 0.002 a 0.004. Estos resultados indican que componentes y conectividad de circuito al estilo QCNN cuidadosamente elegidos pueden mejorar significativamente la robustez al ruido de los agentes QRL similares a QDQN.