Las Redes Neuronales de Ecuaciones Diferenciales Ordinarias (Neural ODEs) han surgido como un enfoque prometedor para aprender el comportamiento en tiempo continuo de sistemas dinámicos a partir de datos. Sin embargo, las Neural ODEs son modelos de caja negra, lo que plantea desafíos en la interpretación y comprensión de sus procesos de toma de decisiones. Esto plantea preocupaciones sobre su aplicación en dominios críticos como la salud y los sistemas autónomos. Para abordar este desafío y proporcionar información sobre el proceso de toma de decisiones de las Neural ODEs, presentamos el marco eXplainable Neural ODE (XNODE), un conjunto de técnicas de Inteligencia Artificial Explicable (XAI) diseñadas específicamente para Neural ODEs. Inspirándose en métodos clásicos de visualización para ecuaciones diferenciales, incluidas series temporales, espacio de estados y gráficos de campo vectorial, XNODE tiene como objetivo ofrecer ideas intuitivas sobre el comportamiento del modelo. Aunque relativamente simples, estas técnicas están destinadas a proporcionar a los investigadores una comprensión más profunda de las herramientas matemáticas subyacentes, sirviendo así como una guía práctica para interpretar los resultados obtenidos con Neural ODEs. La efectividad de XNODE se verifica a través de estudios de casos que involucran un circuito Resistor-Capacitor (RC), la dinámica depredador-presa de Lotka-Volterra y una reacción química. El conjunto propuesto de XNODE ofrece una perspectiva más matizada para casos en los que se obtienen valores bajos de Error Cuadrático Medio, lo que sugiere inicialmente un aprendizaje exitoso de la dinámica de los datos. Esto revela que un error de entrenamiento bajo no necesariamente equivale a una comprensión integral o modelado preciso de la dinámica de los datos subyacentes.