Dsa: deformable segmentation attention para segmentación de imágenes de ojo de pez a múltiples escalas
Autores: Jiang, Junzhe; Xu, Cheng; Liu, Hongzhe; Fu, Ying; Jian, Muwei
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Dsa: deformable segmentation attention para segmentación de imágenes de ojo de pez a múltiples escalas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Campo de visión más amplio
Imágenes ojo de pez
Conducción autónoma
Redes neuronales
Atención de segmentación deformable
Módulo DSA
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 42
Citaciones: Sin citaciones
Con un campo de visión (FOV) más amplio que las imágenes ordinarias, las imágenes ojo de pez se están volviendo comunes en el campo de la conducción autónoma. Sin embargo, el grave problema de distorsión de las imágenes ojo de pez también limita su aplicación. El rendimiento de las redes neuronales diseñadas para imágenes de FOV estrecho degrada drásticamente para las imágenes ojo de pez, y el uso de modelos compuestos grandes puede mejorar el rendimiento, pero conlleva un gran costo temporal y de hardware. Por lo tanto, decidimos equilibrar el tiempo real y la precisión diseñando el módulo de atención de segmentación deformable (DSA), una arquitectura de propósito general basada en un mecanismo de atención deformable y una arquitectura de pirámide espacial. El mecanismo deformable sirve para extraer con precisión información de características de las imágenes ojo de pez, junto con la atención para aprender el contexto global y la estructura de pirámide espacial para equilibrar la información de características a múltiples escalas, mejorando así la percepción de las imágenes ojo de pez por las redes tradicionales sin aumentar la cantidad de cálculos excesivos. Las redes ligeras como SegNeXt equipadas con el módulo DSA permiten una segmentación multi-escala efectiva y rápida de imágenes ojo de pez en escenas complejas. Nuestra arquitectura logra resultados sobresalientes en el conjunto de datos de WoodScape, mientras que nuestros experimentos de ablación demuestran la efectividad de varias partes de la arquitectura.
Descripción
Con un campo de visión (FOV) más amplio que las imágenes ordinarias, las imágenes ojo de pez se están volviendo comunes en el campo de la conducción autónoma. Sin embargo, el grave problema de distorsión de las imágenes ojo de pez también limita su aplicación. El rendimiento de las redes neuronales diseñadas para imágenes de FOV estrecho degrada drásticamente para las imágenes ojo de pez, y el uso de modelos compuestos grandes puede mejorar el rendimiento, pero conlleva un gran costo temporal y de hardware. Por lo tanto, decidimos equilibrar el tiempo real y la precisión diseñando el módulo de atención de segmentación deformable (DSA), una arquitectura de propósito general basada en un mecanismo de atención deformable y una arquitectura de pirámide espacial. El mecanismo deformable sirve para extraer con precisión información de características de las imágenes ojo de pez, junto con la atención para aprender el contexto global y la estructura de pirámide espacial para equilibrar la información de características a múltiples escalas, mejorando así la percepción de las imágenes ojo de pez por las redes tradicionales sin aumentar la cantidad de cálculos excesivos. Las redes ligeras como SegNeXt equipadas con el módulo DSA permiten una segmentación multi-escala efectiva y rápida de imágenes ojo de pez en escenas complejas. Nuestra arquitectura logra resultados sobresalientes en el conjunto de datos de WoodScape, mientras que nuestros experimentos de ablación demuestran la efectividad de varias partes de la arquitectura.