Impulsada por el auge de la fabricación inteligente y la Industria 4.0, la industria manufacturera enfrenta desafíos significativos para adaptarse a métodos de producción flexibles y eficientes. Este estudio presenta un enfoque innovador para resolver el Problema de Programación de Talleres de Trabajo Flexible (FJSP) integrando Redes Neuronales de Grafos Heterogéneos basadas en Relaciones (HGNNR) con Aprendizaje por Refuerzo Profundo (DRL). El marco propuesto modela las complejas relaciones en el FJSP utilizando grafos heterogéneos, donde las operaciones y las máquinas se representan como nodos, con arcos dirigidos y no dirigidos que indican dependencias y compatibilidades. El marco HGNNR comprende cuatro componentes clave: descomposición de subgrafos específicos de relación, preprocesamiento de datos, extracción de características a través de la convolución de grafos y fusión de características cruzadas utilizando un mecanismo de atención de múltiples cabezas. Para la toma de decisiones, empleamos el algoritmo de Optimización de Políticas Proximales (PPO), que actualiza iterativamente las políticas para maximizar las recompensas acumulativas a través de la interacción continua con el entorno. Los resultados experimentales en cuatro conjuntos de datos de referencia públicos demuestran que nuestro método propuesto supera a cuatro técnicas de vanguardia basadas en DRL y a tres algoritmos heurísticos comunes basados en reglas, logrando una eficiencia de programación superior y capacidades de generalización. Este marco ofrece una solución robusta y escalable para problemas complejos de programación industrial, mejorando la eficiencia y adaptabilidad de la producción.