El alto logro de precisión, utilizando arquitecturas menos complejas de redes neuronales, sigue siendo uno de los problemas más importantes en el aprendizaje automático. En muchos estudios, aumentar la calidad de reconocimiento y predicción se logra mediante la extensión de redes neuronales con neuronas habituales o especiales, lo que aumenta significativamente el tiempo de entrenamiento. Sin embargo, al utilizar un algoritmo de optimización que nos brinda un valor de la función de pérdida en el vecindario del mínimo global, se puede reducir el número de capas y épocas. En este trabajo, exploramos la búsqueda extrema de funciones multidimensionales mediante un descenso de gradiente natural propuesto basado en distribuciones de Dirichlet y Dirichlet generalizadas. El gradiente natural se basa en describir una superficie multidimensional con distribuciones de probabilidad, lo que nos permite reducir el cambio en la precisión del gradiente y el tamaño del paso. El algoritmo propuesto está equipado con adaptación del tamaño del paso, lo que le permite obtener una mayor precisión, tomando un pequeño número de iteraciones en el proceso de minimización, en comparación con el descenso de gradiente habitual y la estimación del momento adaptativo. Realizamos experimentos en funciones de prueba en espacios de cuatro y tres dimensiones, donde el descenso de gradiente natural demuestra su capacidad para converger en el vecindario del mínimo global. Este enfoque puede encontrar su aplicación en la minimización de la función de pérdida en varios tipos de redes neuronales, como convolucionales, recurrentes, de impulsos y cuánticas.