El modo de pre-entrenamiento y ajuste fino ha demostrado ser efectivo para la traducción automática neuronal en recursos limitados. En este modo, se utilizan modelos de pre-entrenamiento entrenados con datos monolingües para iniciar modelos de traducción y transferir conocimiento de los datos monolingües a los modelos de traducción. En los últimos años, los modelos de pre-entrenamiento suelen tomar oraciones con palabras enmascaradas aleatoriamente como entrada y se entrenan prediciendo estas palabras enmascaradas en función de las palabras no enmascaradas. En este artículo, proponemos un nuevo método de pre-entrenamiento que aún predice palabras enmascaradas, pero reemplaza aleatoriamente algunas de las palabras no enmascaradas en la entrada con sus palabras de traducción en otro idioma. Las palabras de traducción provienen de datos bilingües, de modo que los datos para el pre-entrenamiento contienen tanto datos monolingües como bilingües. Realizamos experimentos en un corpus uigur-chino para evaluar nuestro método. Los resultados experimentales muestran que nuestro método puede hacer que el modelo de pre-entrenamiento tenga una mejor capacidad de generalización y ayudar al modelo de traducción a lograr un mejor rendimiento. A través de una tarea de traducción de palabras, también demostramos que nuestro método permite que la incrustación del modelo de traducción adquiera más conocimiento de alineación.