Predecir los precios de las acciones ha sido durante mucho tiempo el Santo Grial para brindar orientación a los inversores. Extraer información efectiva de los Libros de Órdenes Limitadas (LOBs) es un punto clave en el trading de alta frecuencia basado en la predicción del movimiento de las acciones. Los LOBs ofrecen muchos detalles, pero al mismo tiempo, son muy ruidosos. Este artículo propone un modelo de red neuronal transformadora diferencial, llamado DTNN, para predecir el movimiento de las acciones según los datos de LOB. El modelo utiliza una capa bilineal con atención temporal aumentada (TABL) y una red convolucional temporal (TCN) para deshacer el ruido de los datos. Además, un módulo transformador de predicción captura la dependencia entre series temporales. Se propone una capa diferencial e incorpora en el modelo para extraer información de las series temporales de LOB de alta frecuencia, desordenadas y caóticas. Esta capa puede identificar la fina distinción entre cortes adyacentes en la serie. Evaluamos el modelo propuesto en varios conjuntos de datos. En el benchmark abierto de LOB FI-2010, nuestro modelo supera a otros métodos comparativos de vanguardia en precisión y puntuación F1. En los experimentos utilizando datos reales de acciones, nuestro modelo también muestra una gran capacidad de pronóstico del movimiento de las acciones y un rendimiento de generalización.