logo móvil
Contáctanos

S2former: transformador espectral-espacial paralelo para clasificación de imágenes hiperespectrales

Autores: Yuan, Dong; Yu, Dabing; Qian, Yixi; Xu, Yongbing; Liu, Yan

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

S2former: transformador espectral-espacial paralelo para clasificación de imágenes hiperespectrales


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Excelente talento de representación
Red neuronal convolucional
Clasificación de imágenes hiperespectrales
Transformador espacial-espectral
Autoatención espacial
Atención espectral de covarianza

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 36

Citaciones: Sin citaciones


Descripción
Debido a su excelente talento de representación en características locales, la red neuronal convolucional (CNN) ha logrado un rendimiento favorable en tareas de clasificación de imágenes hiperespectrales (HSI). Sin embargo, los modelos actuales de CNN exhiben una falla marcada: les resulta difícil modelar las dependencias en posiciones distantes a larga distancia. Esta falla se vuelve más problemática para la tarea de clasificación de HSI, que tiene como objetivo extraer características más discriminativas en dimensiones locales y globales a partir de muestras limitadas. En este documento, presentamos un transformador espacial-espectral (S2Former), que explora la extracción de características espaciales y espectrales en un marco de doble flujo para la Clasificación de HSI. S2Former, que consta de un transformador espacial y un transformador espectral en ramas paralelas, extrae la característica discriminativa en dimensiones espaciales y espectrales. Más específicamente, proponemos autoatención espacial de varias cabezas para capturar la dependencia espacial a larga distancia de píxeles HSI no adyacentes en un transformador espacial. En el transformador espectral, proponemos atención espectral de covarianza de varias cabezas para extraer y representar firmas espectrales mediante el cálculo de mapas de canales basados en covarianza. Mientras tanto, se desarrolla la red neuronal de avance de activación local para complementar los detalles locales. Experimentos extensos realizados en cuatro conjuntos de datos disponibles públicamente indican que nuestro S2Former logra un rendimiento de vanguardia para la tarea de clasificación de HSI.

Otros recursos que podrían interesarte

Temas Virtualpro