La predicción precisa del flujo de pasajeros es crucial para mejorar la calidad del servicio de los ferrocarriles de alta velocidad de larga distancia. En la actualidad, hay pocos estudios sobre tales predicciones para pares de origen-destino (O-D) ferroviarios, y generalmente solo se considera un solo factor, lo que resulta en una baja precisión de predicción. En este documento, proponemos un modelo de red neuronal basado en datos de múltiples fuentes (NN-MSD) para predecir el flujo de pasajeros O-D de los ferrocarriles de alta velocidad de larga distancia en diferentes momentos en un día a corto plazo, considerando los factores de tiempo, espacio y clima. En primer lugar, se analizan los factores que influyen en el flujo de pasajeros variable en el tiempo basándose en datos de múltiples fuentes. Se extraen las características cíclicas, las características de fusión espacial y temporal, y las características climáticas. En segundo lugar, se diseña un modelo de red neuronal que incluye tres módulos basados en las características. Se utiliza un modelo de red neuronal completamente conectada (FCN) en el primer módulo para procesar los datos de clasificación. Se utiliza un modelo Bi-LSTM bidireccional (Bi-LSTM) en el segundo módulo para procesar los datos de series temporales. Los resultados del primer módulo y el segundo módulo se empalman y fusionan en el tercer módulo utilizando un modelo FCN. Finalmente, se realiza un análisis experimental para el ferrocarril de alta velocidad de larga distancia Guangzhou-Zhuhai en China, en el que se diseñan tres grupos de experimentos de comparación. Los resultados muestran que el modelo NN-MSD propuesto puede predecir muchos pares O-D con una alta y estable precisión, que supera a los modelos de referencia, y los datos de múltiples fuentes son muy útiles para mejorar la precisión de predicción.