logo móvil
Contáctanos

Activación basada en la poda de redes neuronales

Autores: Ganguli, Tushar; Chong, Edwin K. P.

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Activación basada en la poda de redes neuronales


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Software

Palabras clave

Poda
Redes neuronales
Basado en activación
Basado en magnitud
Reducción de dimensionalidad
Resultados empíricos

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 31

Citaciones: Sin citaciones


Descripción
Presentamos una técnica novedosa para podar llamada poda para podar de manera efectiva redes neuronales alimentadas hacia adelante totalmente conectadas para clasificación multiobjetivo. Nuestra técnica se basa en el número de veces que se activa cada neurona durante el entrenamiento del modelo. Comparamos el rendimiento de la poda basada en la activación con un método de poda popular: la poda basada en la magnitud. Un análisis adicional demostró que la poda basada en la activación puede considerarse una técnica de reducción de dimensionalidad, ya que conduce a una aproximación de matriz de rango bajo dispersa para cada capa oculta de la red neuronal. También demostramos que la red neuronal de rango reducido generada mediante la poda basada en la activación tiene una precisión mejor que una red de rango reducido utilizando análisis de componentes principales. Proporcionamos resultados empíricos para mostrar que, después de cada poda sucesiva, la cantidad de reducción en la magnitud de los valores singulares de cada matriz que representa las capas ocultas de la red es equivalente a introducir la suma de los valores singulares de las capas ocultas como un parámetro de regularización en la función objetivo.

Otros recursos que podrían interesarte

Temas Virtualpro