Las redes neuronales artificiales tienen éxito en varias tareas para escenarios reales debido a sus altas capacidades de aprendizaje. Este trabajo se centra en aspectos teóricos de las redes neuronales artificiales para mejorar la capacidad de implementar aquellas modificaciones que permitan a las redes neuronales absorber las características definitorias de cada escenario. Este trabajo también puede ser incluido dentro de la tendencia dedicada a proporcionar explicaciones matemáticas del rendimiento de las redes neuronales artificiales, prestando especial atención a las funciones de activación. El algoritmo base ha sido decodificado matemáticamente para analizar las características requeridas de las funciones de activación con respecto a su impacto en el proceso de entrenamiento y en la aplicabilidad del Teorema de Aproximación Universal. Particularmente, se presentan nuevos resultados significativos para identificar aquellas funciones de activación que experimentan algunas fallas habituales (preservación del gradiente). Este es el primer trabajo, hasta donde el autor sabe, que destaca el papel de la inyectividad para las funciones de activación, la cual ha recibido poca atención en la literatura pero tiene una gran incidencia en el rendimiento de las redes neuronales artificiales. En esta línea, se ha proporcionado una caracterización de las funciones de activación inyectivas relacionadas con funciones monótonas que cumplen la condición contractiva clásica como un caso particular de funciones de Lipschitz. También se proporciona una tabla resumen sobre esto, dirigida a documentar cómo seleccionar la mejor función de activación para cada situación.