Atención de Canal Espacial para Redes Neuronales Convolucionales Profundas
Autores: Liu, Tonglai; Luo, Ronghai; Xu, Longqin; Feng, Dachun; Cao, Liang; Liu, Shuangyin; Guo, Jianjun
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Atención de Canal Espacial para Redes Neuronales Convolucionales Profundas
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Mecanismo de atención
Espacial
Información de canal
Redes neuronales convolucionales
Mejora del rendimiento
Conjunto de datos de ImageNet
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
Recientemente, el mecanismo de atención que combina información espacial y de canal ha sido ampliamente utilizado en varias redes neuronales convolucionales profundas (CNN), demostrando su gran potencial para mejorar el rendimiento del modelo. Sin embargo, esto suele usar operaciones de agrupamiento global 2D para comprimir la información espacial o métodos de escalado para reducir la sobrecarga computacional en la atención de canal. Estos métodos resultarán en una pérdida severa de información. Por lo tanto, proponemos un mecanismo de atención espacial de canal que captura la interacción entre dimensiones, que no implica una reducción de dimensionalidad y aporta una mejora significativa en el rendimiento con una sobrecarga computacional insignificante. El mecanismo de atención propuesto se puede integrar fácilmente en cualquier red neuronal convolucional ya que es un módulo general ligero. Nuestro método logra una mejora de rendimiento del 2.08% en ResNet y del 1.02% en MobileNetV2 en la tasa de error top-one en el conjunto de datos de ImageNet.
Descripción
Recientemente, el mecanismo de atención que combina información espacial y de canal ha sido ampliamente utilizado en varias redes neuronales convolucionales profundas (CNN), demostrando su gran potencial para mejorar el rendimiento del modelo. Sin embargo, esto suele usar operaciones de agrupamiento global 2D para comprimir la información espacial o métodos de escalado para reducir la sobrecarga computacional en la atención de canal. Estos métodos resultarán en una pérdida severa de información. Por lo tanto, proponemos un mecanismo de atención espacial de canal que captura la interacción entre dimensiones, que no implica una reducción de dimensionalidad y aporta una mejora significativa en el rendimiento con una sobrecarga computacional insignificante. El mecanismo de atención propuesto se puede integrar fácilmente en cualquier red neuronal convolucional ya que es un módulo general ligero. Nuestro método logra una mejora de rendimiento del 2.08% en ResNet y del 1.02% en MobileNetV2 en la tasa de error top-one en el conjunto de datos de ImageNet.