logo móvil
Contáctanos

Nipuna: una nueva función de activación optimizadora para redes neuronales profundas

Autores: Madhu, Golla; Kautish, Sandeep; Alnowibet, Khalid Abdulaziz; Zawbaa, Hossam M.; Mohamed, Ali Wagdy

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Nipuna: una nueva función de activación optimizadora para redes neuronales profundas


Categoría

Matemáticas

Subcategoría

Análisis matemático

Palabras clave

Redes neuronales
Funciones de activación
ReLU
Swish
NIPUNA
Redes neuronales profundas

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 18

Citaciones: Sin citaciones


Descripción
En los últimos años, varios redes neuronales profundas con diferentes paradigmas de aprendizaje han sido ampliamente empleadas en diversas aplicaciones, incluyendo el diagnóstico médico, análisis de imágenes, vehículos autónomos y otros. Las funciones de activación empleadas en las redes neuronales profundas tienen un gran impacto en el modelo de entrenamiento y la fiabilidad del modelo. La Unidad Lineal Rectificada (ReLU) ha surgido recientemente como la función de activación más popular y ampliamente utilizada. ReLU tiene algunas fallas, como el hecho de que solo está activa cuando las unidades son positivas durante la retropropagación y cero de lo contrario. Esto provoca que las neuronas mueran (ReLU moribunda) y un cambio en el sesgo. Sin embargo, a diferencia de las funciones de activación ReLU, las funciones de activación Swish no permanecen estables ni se mueven en una sola dirección. Esta investigación propone una nueva función de activación llamada NIPUNA para redes neuronales profundas. Probamos esta activación entrenando en redes neuronales convolucionales personalizadas (CCNN). En conjuntos de datos de referencia (imágenes de Fashion MNIST de ropa, conjunto de datos MNIST de dígitos escritos a mano), se examinan las contribuciones y se comparan con varias funciones de activación. La función de activación propuesta puede superar a las funciones de activación tradicionales.

Otros recursos que podrían interesarte

Temas Virtualpro