La generación de código, como un área de aplicación muy popular de modelos de aprendizaje profundo para texto, consta de dos campos diferentes: de código a código y de texto a código. Un enfoque reciente, GraphCodeBERT, utiliza un grafo de código, que se llama flujo de datos, y mostró una mejora de rendimiento. La arquitectura del modelo base es representaciones de codificador bidireccionales de transformadores (BERT), que utiliza la parte del codificador de un transformador. Por otro lado, el transformador pre-entrenado generativo (GPT), otra arquitectura de múltiples transformadores, utiliza la parte del decodificador y muestra un gran rendimiento en el modelo de perceptrón multicapa. En este estudio, investigamos la mejora de los grafos de código con varias variaciones en GPT-2 para hacer referencia al árbol semántico abstracto utilizado para recopilar las características de las variables en el código. Aquí, nos enfocamos principalmente en GPT-2 con características adicionales de grafos de código que permiten al modelo aprender el efecto del flujo de datos. La fase experimental se divide en dos partes: ajuste fino del modelo GPT-2 existente y pre-entrenamiento desde cero utilizando datos de código. Cuando pre-entrenamos un nuevo modelo desde cero, el modelo produce un resultado superior en comparación con el uso del grafo de código con suficientes datos.