Activación basada en la poda de redes neuronales
Autores: Ganguli, Tushar; Chong, Edwin K. P.
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Activación basada en la poda de redes neuronales
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Poda
Redes neuronales
Basado en activación
Basado en magnitud
Reducción de dimensionalidad
Resultados empíricos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
Presentamos una técnica novedosa para podar llamada poda para podar de manera efectiva redes neuronales alimentadas hacia adelante totalmente conectadas para clasificación multiobjetivo. Nuestra técnica se basa en el número de veces que se activa cada neurona durante el entrenamiento del modelo. Comparamos el rendimiento de la poda basada en la activación con un método de poda popular: la poda basada en la magnitud. Un análisis adicional demostró que la poda basada en la activación puede considerarse una técnica de reducción de dimensionalidad, ya que conduce a una aproximación de matriz de rango bajo dispersa para cada capa oculta de la red neuronal. También demostramos que la red neuronal de rango reducido generada mediante la poda basada en la activación tiene una precisión mejor que una red de rango reducido utilizando análisis de componentes principales. Proporcionamos resultados empíricos para mostrar que, después de cada poda sucesiva, la cantidad de reducción en la magnitud de los valores singulares de cada matriz que representa las capas ocultas de la red es equivalente a introducir la suma de los valores singulares de las capas ocultas como un parámetro de regularización en la función objetivo.
Descripción
Presentamos una técnica novedosa para podar llamada poda para podar de manera efectiva redes neuronales alimentadas hacia adelante totalmente conectadas para clasificación multiobjetivo. Nuestra técnica se basa en el número de veces que se activa cada neurona durante el entrenamiento del modelo. Comparamos el rendimiento de la poda basada en la activación con un método de poda popular: la poda basada en la magnitud. Un análisis adicional demostró que la poda basada en la activación puede considerarse una técnica de reducción de dimensionalidad, ya que conduce a una aproximación de matriz de rango bajo dispersa para cada capa oculta de la red neuronal. También demostramos que la red neuronal de rango reducido generada mediante la poda basada en la activación tiene una precisión mejor que una red de rango reducido utilizando análisis de componentes principales. Proporcionamos resultados empíricos para mostrar que, después de cada poda sucesiva, la cantidad de reducción en la magnitud de los valores singulares de cada matriz que representa las capas ocultas de la red es equivalente a introducir la suma de los valores singulares de las capas ocultas como un parámetro de regularización en la función objetivo.