Una de las principales propiedades de las soluciones de las redes neuronales fraccionarias de Caputo no lineales es la estabilidad y a menudo se utiliza el método directo de Lyapunov para estudiar las propiedades de estabilidad (por lo general, estas funciones de Lyapunov no dependen de la variable temporal). En relación con el método fraccional de Lyapunov, presentamos una breve descripción de las derivadas de orden fraccional de Lyapunov más populares entre las ecuaciones diferenciales con retardos fraccionarios de Caputo. Estas derivadas se aplican a varios tipos de redes neuronales con coeficientes variables y retardos variables en el tiempo. Mostramos que las funciones cuadráticas de Lyapunov y sus derivadas fraccionarias de Caputo no son aplicables en algunos casos cuando se estudian las propiedades de estabilidad. Se obtienen algunas condiciones suficientes para la estabilidad del equilibrio de las redes neuronales fraccionarias de Caputo no lineales con retardos de transmisión dependientes del tiempo, parámetros autorreguladores variables de todas las unidades y funciones variables en el tiempo de la conexión entre dos neuronas en la red. Se estudian los casos de coeficientes de Lipschitz variables en el tiempo, así como funciones de activación no lipschitzianas. Ilustramos nuestra teoría en redes neuronales fraccionarias de Caputo no lineales particulares.