El objetivo principal del aprendizaje automático es la creación de algoritmos autoaprendientes en muchas áreas de la actividad humana. Permite reemplazar a una persona con inteligencia artificial en la búsqueda de expandir la producción. La teoría de las redes neuronales artificiales, que ya han reemplazado a los humanos en muchos problemas, sigue siendo la rama más utilizada del aprendizaje automático. Por lo tanto, se debe seleccionar arquitecturas de redes neuronales apropiadas, procesamiento de datos y herramientas avanzadas de matemáticas aplicadas. Un desafío común para estas redes es lograr la mayor precisión en poco tiempo. Este problema se resuelve modificando las redes y mejorando el preprocesamiento de datos, donde la precisión aumenta junto con el tiempo de entrenamiento. Al utilizar métodos de optimización, se puede mejorar la precisión sin aumentar el tiempo. En esta revisión, consideramos todos los algoritmos de optimización existentes que se encuentran en las redes neuronales. Presentamos modificaciones de algoritmos de optimización de primer, segundo y orden geométrico de la información, que están relacionados con la geometría de la información para métricas de Fisher-Rao y Bregman. Estos optimizadores han influido significativamente en el desarrollo de redes neuronales a través de herramientas geométricas y probabilísticas. Presentamos aplicaciones de todos los algoritmos de optimización dados, considerando los tipos de redes neuronales. Después de eso, mostramos formas de desarrollar algoritmos de optimización en investigaciones futuras utilizando redes neuronales modernas. Los optimizadores de orden fraccionario, de dos niveles y sin gradientes pueden reemplazar a los optimizadores clásicos basados en gradientes. Tales enfoques se inducen en redes neuronales de gráficos, de espigas, de valores complejos, cuánticas y de wavelets. Además del reconocimiento de patrones, la predicción de series temporales y la detección de objetos, existen muchas otras aplicaciones en el aprendizaje automático: computaciones cuánticas, ecuaciones diferenciales parciales e integrodiferenciales y procesos estocásticos.