El cálculo fraccional es un tema emergente en el entrenamiento de redes neuronales artificiales, especialmente cuando se utilizan métodos basados en gradientes. Este artículo introduce la idea de derivadas fraccionales en el entrenamiento de redes neuronales de disparo utilizando el cálculo de gradientes basado en la derivada de Caputo. Nos enfocamos en realizar una investigación exhaustiva de mejoras en el rendimiento a través de un estudio de caso de redes a pequeña escala utilizando órdenes de derivadas en el intervalo unitario. Con la optimización por enjambre de partículas, proporcionamos un ejemplo de manejo del orden de la derivada como un hiperparámetro optimizable para encontrar valores viables para el mismo. Utilizando múltiples conjuntos de datos de referencia, demostramos empíricamente que no hay un único orden de derivada óptimo en general, sino que este valor depende de los datos. Sin embargo, las estadísticas muestran que se puede determinar un rango de órdenes de derivada en el que la derivada de Caputo supera al descenso de gradiente de primer orden con alta confianza. También se examinan las mejoras en la velocidad de convergencia y el tiempo de entrenamiento, explicadas por la reformulación del entrenamiento basado en la derivada de Caputo como una técnica de normalización adaptativa de pesos.