El problema de enrutamiento de vehículos (VRP) es un problema común en logística y transporte con un alto valor de aplicación. En el pasado, se han propuesto muchos métodos para resolver el problema de enrutamiento de vehículos y han logrado buenos resultados, pero con el desarrollo de la tecnología de redes neuronales, resolver el VRP a través de la optimización combinatoria neuronal ha atraído cada vez más la atención de los investigadores debido a su corto tiempo de inferencia y alta paralelización. PMOCO es el algoritmo de optimización de enrutamiento de vehículos multiobjetivo más avanzado. Sin embargo, en PMOCO, las preferencias a menudo se seleccionan de forma uniforme, lo que puede llevar a conjuntos de Pareto desiguales y reducir la calidad de las soluciones. Para resolver este problema, proponemos un algoritmo de optimización de enrutamiento de vehículos multiobjetivo basado en el ajuste de preferencias, que se mejora a partir de PMOCO. Incorporamos el método de ajuste de peso en PMOCO que es capaz de adaptarse a diferentes frentes de Pareto aproximados y encontrar soluciones con mejor calidad. Tratamos el ajuste de peso como un proceso de decisión secuencial y lo entrenamos a través del aprendizaje profundo por refuerzo. Descubrimos que nuestro método podría buscar de forma adaptativa una mejor combinación de preferencias y tener una fuerte robustez. Nuestro método se experimenta en problemas de enrutamiento de vehículos multiobjetivo y obtiene buenos resultados (aproximadamente un 6% de mejora en comparación con PMOCO con 20 preferencias).