logo móvil
Contáctanos

Sgsaformer: spike gated self-attention transformer y atención temporal

Autores: Gao, Shouwei; Qin, Yu; Zhu, Ruixin; Zhao, Zirui; Zhou, Hao; Zhu, Zihao

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Sgsaformer: spike gated self-attention transformer y atención temporal


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Redes neuronales pico
Modelo transformador
Mecanismo de compuertas
SGSAFormer
Módulo SGLU
Atención temporal

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 26

Citaciones: Sin citaciones


Descripción
Las redes neuronales de picos (SNNs), una estructura de modelo de red neuronal inspirada en el cerebro humano, han surgido como un paradigma de aprendizaje profundo más eficiente en energía debido a su única transmisión basada en picos y características impulsadas por eventos. La combinación de SNNs con el modelo Transformer mejora significativamente el rendimiento de SNNs manteniendo una buena eficiencia energética. El mecanismo de compuerta, que ajusta dinámicamente los datos de entrada y controla el flujo de información, juega un papel importante en las redes neuronales artificiales (ANNs). Aquí, introducimos este mecanismo de compuerta en SNNs y proponemos un nuevo modelo de Transformer de picos, llamado SGSAFormer, basado en la arquitectura de red Spikformer. Introducimos el módulo de Unidad Lineal con Compuerta de Picos (SGLU) para mejorar el módulo de Perceptrón Multicapa (MLP) en SNNs agregando un mecanismo de compuerta para mejorar la potencia expresiva del modelo. También incorporamos la Autoatención con Compuerta de Picos (SGSA) para fortalecer el mecanismo de atención de la red, mejorando su capacidad para capturar información temporal y procesamiento dinámico. Además, proponemos un módulo de Atención Temporal (TA), que selecciona nuevos filtros para los datos de entrada a lo largo de la dimensión temporal y puede reducir sustancialmente el consumo de energía con solo una ligera disminución en la precisión. Para validar la efectividad de nuestro enfoque, realizamos experimentos extensos en varios conjuntos de datos neuromórficos. Nuestro modelo supera a otros modelos de vanguardia en términos de rendimiento.

Otros recursos que podrían interesarte

Temas Virtualpro