logo móvil
Contáctanos

SinLU: Unidad lineal sinu-sigmoide

Autores: Paul, Ashis; Bandyopadhyay, Rajarshi; Yoon, Jin Hee; Geem, Zong Woo; Sarkar, Ram

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

SinLU: Unidad lineal sinu-sigmoide


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Funciones de activación
Red neuronal
Unidad Lineal Sinu-sigmoide
SinLU
Parámetros entrenables
Rendimiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 27

Citaciones: Sin citaciones


Descripción
Las funciones de activación no lineales son partes integrales de las arquitecturas neuronales profundas. Dado el conjunto de datos grande y complejo de una red neuronal, su complejidad computacional y capacidad de aproximación pueden diferir significativamente según la función de activación utilizada. La parametrización de una función de activación con la introducción de parámetros aprendibles generalmente mejora el rendimiento. Aquí se propone una nueva función de activación llamada Unidad Lineal Sinu-Sigmoidea (o SinLU). SinLU se formula como , donde es la función sigmoidea. La función propuesta incorpora la onda seno, lo que permite nuevas funcionalidades sobre las activaciones de unidades lineales tradicionales. Dos parámetros entrenables de esta función controlan la participación de la naturaleza sinusoidal en la función, y ayudan a lograr una función fácilmente entrenable y de rápida convergencia. Se comparó el rendimiento de SinLU propuesto con funciones de activación ampliamente utilizadas, como ReLU, GELU y SiLU. Demostramos la robustez de la función de activación propuesta mediante experimentos en una amplia gama de dominios, utilizando múltiples tipos de modelos basados en redes neuronales en algunos conjuntos de datos estándar. El uso de la onda seno con parámetros entrenables resulta en un mejor rendimiento de SinLU que las funciones de activación comúnmente utilizadas.

Otros recursos que podrían interesarte

Temas Virtualpro