Leaky ReLU Aprendible (LeLeLU): Una Función de Activación Alternativa Optimizada para la Precisión
Autores: Maniatopoulos, Andreas; Mitianoudis, Nikolaos
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Leaky ReLU Aprendible (LeLeLU): Una Función de Activación Alternativa Optimizada para la Precisión
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Redes neuronales
Función de activación
No lineal
Aprendizaje profundo
Nodos
Precisión
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
En las redes neuronales, un componente vital en el proceso de aprendizaje e inferencia es la función de activación. Existen muchos enfoques diferentes, pero solo las funciones de activación no lineales permiten que tales redes resuelvan problemas no triviales utilizando solo un pequeño número de nodos, y estas funciones de activación se llaman no linealidades. Con la aparición del aprendizaje profundo, ha surgido la necesidad de funciones de activación competentes que puedan habilitar o acelerar el aprendizaje en capas más profundas. En este artículo, proponemos una nueva función de activación, combinando muchas características de funciones de activación exitosas, logrando un 2.53% más de precisión que el estándar de la industria ReLU en una variedad de casos de prueba.
Descripción
En las redes neuronales, un componente vital en el proceso de aprendizaje e inferencia es la función de activación. Existen muchos enfoques diferentes, pero solo las funciones de activación no lineales permiten que tales redes resuelvan problemas no triviales utilizando solo un pequeño número de nodos, y estas funciones de activación se llaman no linealidades. Con la aparición del aprendizaje profundo, ha surgido la necesidad de funciones de activación competentes que puedan habilitar o acelerar el aprendizaje en capas más profundas. En este artículo, proponemos una nueva función de activación, combinando muchas características de funciones de activación exitosas, logrando un 2.53% más de precisión que el estándar de la industria ReLU en una variedad de casos de prueba.