Nipuna: una nueva función de activación optimizadora para redes neuronales profundas
Autores: Madhu, Golla; Kautish, Sandeep; Alnowibet, Khalid Abdulaziz; Zawbaa, Hossam M.; Mohamed, Ali Wagdy
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Nipuna: una nueva función de activación optimizadora para redes neuronales profundas
Categoría
Matemáticas
Subcategoría
Análisis matemático
Palabras clave
Redes neuronales
Funciones de activación
ReLU
Swish
NIPUNA
Redes neuronales profundas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 18
Citaciones: Sin citaciones
En los últimos años, varios redes neuronales profundas con diferentes paradigmas de aprendizaje han sido ampliamente empleadas en diversas aplicaciones, incluyendo el diagnóstico médico, análisis de imágenes, vehículos autónomos y otros. Las funciones de activación empleadas en las redes neuronales profundas tienen un gran impacto en el modelo de entrenamiento y la fiabilidad del modelo. La Unidad Lineal Rectificada (ReLU) ha surgido recientemente como la función de activación más popular y ampliamente utilizada. ReLU tiene algunas fallas, como el hecho de que solo está activa cuando las unidades son positivas durante la retropropagación y cero de lo contrario. Esto provoca que las neuronas mueran (ReLU moribunda) y un cambio en el sesgo. Sin embargo, a diferencia de las funciones de activación ReLU, las funciones de activación Swish no permanecen estables ni se mueven en una sola dirección. Esta investigación propone una nueva función de activación llamada NIPUNA para redes neuronales profundas. Probamos esta activación entrenando en redes neuronales convolucionales personalizadas (CCNN). En conjuntos de datos de referencia (imágenes de Fashion MNIST de ropa, conjunto de datos MNIST de dígitos escritos a mano), se examinan las contribuciones y se comparan con varias funciones de activación. La función de activación propuesta puede superar a las funciones de activación tradicionales.
Descripción
En los últimos años, varios redes neuronales profundas con diferentes paradigmas de aprendizaje han sido ampliamente empleadas en diversas aplicaciones, incluyendo el diagnóstico médico, análisis de imágenes, vehículos autónomos y otros. Las funciones de activación empleadas en las redes neuronales profundas tienen un gran impacto en el modelo de entrenamiento y la fiabilidad del modelo. La Unidad Lineal Rectificada (ReLU) ha surgido recientemente como la función de activación más popular y ampliamente utilizada. ReLU tiene algunas fallas, como el hecho de que solo está activa cuando las unidades son positivas durante la retropropagación y cero de lo contrario. Esto provoca que las neuronas mueran (ReLU moribunda) y un cambio en el sesgo. Sin embargo, a diferencia de las funciones de activación ReLU, las funciones de activación Swish no permanecen estables ni se mueven en una sola dirección. Esta investigación propone una nueva función de activación llamada NIPUNA para redes neuronales profundas. Probamos esta activación entrenando en redes neuronales convolucionales personalizadas (CCNN). En conjuntos de datos de referencia (imágenes de Fashion MNIST de ropa, conjunto de datos MNIST de dígitos escritos a mano), se examinan las contribuciones y se comparan con varias funciones de activación. La función de activación propuesta puede superar a las funciones de activación tradicionales.