La logística de cadena de frío es crucial para garantizar la calidad y seguridad alimentaria en las cadenas de suministro modernas. Los sistemas de control de temperatura necesarios aumentan los costos operativos e impactos ambientales en comparación con la logística convencional. Para reducir estos costos manteniendo la calidad del servicio en escenarios de distribución del mundo real, es esencial una planificación de rutas eficiente, especialmente cuando se deben entregar productos con diferentes requisitos de temperatura juntos utilizando vehículos refrigerados de múltiples compartimentos. Esto aumenta sustancialmente la complejidad del proceso de enrutamiento. Proponemos un nuevo enfoque de aprendizaje profundo por refuerzo que incorpora un codificador de estado del vehículo para capturar las características de la flota y un mecanismo de actualización dinámica del estado del vehículo para permitir actualizaciones en tiempo real durante la planificación de rutas. Experimentos extensos en una red vial del mundo real muestran que nuestro método propuesto supera significativamente a cuatro métodos representativos. En comparación con un algoritmo reciente de optimización de colonia de hormigas, logra una reducción de costos de hasta un 6,32% y es hasta 1637 veces más rápido en computación.