La naturaleza de caja negra de las redes neuronales es un obstáculo para la adopción de sistemas basados en ellas, principalmente debido a la falta de comprensión y confianza por parte de los usuarios finales. Proporcionar explicaciones de las predicciones del modelo debería aumentar la confianza en el sistema y hacer que las decisiones peculiares sean más fáciles de examinar. En este documento, se propone una arquitectura de un sistema de predicción de series temporales de aprendizaje automático para la predicción de compras comerciales basado en redes neuronales y mejorado con técnicas de inteligencia artificial explicables (XAI). La arquitectura se implementa en un ejemplo de un sistema para predecir las compras siguientes para series temporales utilizando redes neuronales de memoria a corto y largo plazo (LSTM) y valores de explicaciones aditivas de Shapley (SHAP). El sistema desarrollado se evaluó con tres redes neuronales LSTM diferentes para predecir el siguiente día de compra, siendo la red más compleja la que produjo los mejores resultados en todas las métricas. Las explicaciones generadas por el módulo XAI se proporcionan junto con los resultados de la predicción al usuario para permitirle comprender las decisiones del sistema. Otro beneficio del módulo XAI es la posibilidad de experimentar con diferentes modelos de predicción y comparar los efectos de las características de entrada.