SinLU: Unidad lineal sinu-sigmoide
Autores: Paul, Ashis; Bandyopadhyay, Rajarshi; Yoon, Jin Hee; Geem, Zong Woo; Sarkar, Ram
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
SinLU: Unidad lineal sinu-sigmoide
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Funciones de activación
Red neuronal
Unidad Lineal Sinu-sigmoide
SinLU
Parámetros entrenables
Rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
Las funciones de activación no lineales son partes integrales de las arquitecturas neuronales profundas. Dado el conjunto de datos grande y complejo de una red neuronal, su complejidad computacional y capacidad de aproximación pueden diferir significativamente según la función de activación utilizada. La parametrización de una función de activación con la introducción de parámetros aprendibles generalmente mejora el rendimiento. Aquí se propone una nueva función de activación llamada Unidad Lineal Sinu-Sigmoidea (o SinLU). SinLU se formula como , donde es la función sigmoidea. La función propuesta incorpora la onda seno, lo que permite nuevas funcionalidades sobre las activaciones de unidades lineales tradicionales. Dos parámetros entrenables de esta función controlan la participación de la naturaleza sinusoidal en la función, y ayudan a lograr una función fácilmente entrenable y de rápida convergencia. Se comparó el rendimiento de SinLU propuesto con funciones de activación ampliamente utilizadas, como ReLU, GELU y SiLU. Demostramos la robustez de la función de activación propuesta mediante experimentos en una amplia gama de dominios, utilizando múltiples tipos de modelos basados en redes neuronales en algunos conjuntos de datos estándar. El uso de la onda seno con parámetros entrenables resulta en un mejor rendimiento de SinLU que las funciones de activación comúnmente utilizadas.
Descripción
Las funciones de activación no lineales son partes integrales de las arquitecturas neuronales profundas. Dado el conjunto de datos grande y complejo de una red neuronal, su complejidad computacional y capacidad de aproximación pueden diferir significativamente según la función de activación utilizada. La parametrización de una función de activación con la introducción de parámetros aprendibles generalmente mejora el rendimiento. Aquí se propone una nueva función de activación llamada Unidad Lineal Sinu-Sigmoidea (o SinLU). SinLU se formula como , donde es la función sigmoidea. La función propuesta incorpora la onda seno, lo que permite nuevas funcionalidades sobre las activaciones de unidades lineales tradicionales. Dos parámetros entrenables de esta función controlan la participación de la naturaleza sinusoidal en la función, y ayudan a lograr una función fácilmente entrenable y de rápida convergencia. Se comparó el rendimiento de SinLU propuesto con funciones de activación ampliamente utilizadas, como ReLU, GELU y SiLU. Demostramos la robustez de la función de activación propuesta mediante experimentos en una amplia gama de dominios, utilizando múltiples tipos de modelos basados en redes neuronales en algunos conjuntos de datos estándar. El uso de la onda seno con parámetros entrenables resulta en un mejor rendimiento de SinLU que las funciones de activación comúnmente utilizadas.