Segmentación interactiva para imágenes médicas utilizando modelado espacial Mamba
Autores: Tang, Yuxin; Li, Yu; Zou, Hua; Zhang, Xuedong
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Segmentación interactiva para imágenes médicas utilizando modelado espacial Mamba
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Métodos de segmentación interactiva
Clics positivos y negativos proporcionados por el usuario
ESM-Net
Modelo Mamba
Módulo de Convolución Aumentada Espacial (SAC)
Cabeza de segmentación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los métodos de segmentación interactiva utilizan clics positivos y negativos proporcionados por el usuario para guiar al modelo en la segmentación precisa de objetos objetivo. En comparación con la segmentación automática completa de imágenes médicas, estos métodos pueden lograr una mayor precisión de segmentación con datos de imagen limitados, demostrando un potencial significativo en aplicaciones clínicas. Típicamente, para cada nuevo clic proporcionado por el usuario, los métodos de segmentación interactiva convencionales reprocesan toda la red volviendo a introducir el clic en el modelo de segmentación, lo que aumenta considerablemente la carga de interacción del usuario y se desvía del objetivo previsto de las tareas de segmentación interactiva. Para abordar este problema, proponemos una red de segmentación eficiente, ESM-Net, para la segmentación interactiva de imágenes médicas. Obtiene máscaras de segmentación de alta calidad basadas en los clics iniciales del usuario, reduciendo la complejidad de los pasos de refinamiento posteriores. Estudios recientes han demostrado el fuerte rendimiento del modelo Mamba en varias tareas de visión; sin embargo, su aplicación en la segmentación interactiva sigue sin explorarse. En nuestro estudio, incorporamos el módulo Mamba en nuestro marco por primera vez y mejoramos sus capacidades de representación espacial desarrollando un módulo de Convolución Aumentada Espacial (SAC). Estos componentes se combinan como los bloques de construcción fundamentales de nuestra red. Además, diseñamos una cabeza de segmentación novedosa y eficiente para fusionar características de múltiples escalas extraídas del codificador, optimizando la generación de las máscaras de segmentación predichas. A través de experimentos exhaustivos, nuestro método logró un rendimiento de vanguardia en tres conjuntos de datos de imágenes médicas. Específicamente, logramos 1.43 NoC@90 en el conjunto de datos Kvasir-SEG, 1.57 NoC@90 en el conjunto de datos de segmentación de pólipos CVC-ClinicDB y 1.03 NoC@90 en el conjunto de datos de segmentación de disco retinal ADAM. Las evaluaciones en estos tres conjuntos de datos de imágenes médicas destacan la efectividad de nuestro enfoque en la segmentación interactiva de imágenes médicas.
Descripción
Los métodos de segmentación interactiva utilizan clics positivos y negativos proporcionados por el usuario para guiar al modelo en la segmentación precisa de objetos objetivo. En comparación con la segmentación automática completa de imágenes médicas, estos métodos pueden lograr una mayor precisión de segmentación con datos de imagen limitados, demostrando un potencial significativo en aplicaciones clínicas. Típicamente, para cada nuevo clic proporcionado por el usuario, los métodos de segmentación interactiva convencionales reprocesan toda la red volviendo a introducir el clic en el modelo de segmentación, lo que aumenta considerablemente la carga de interacción del usuario y se desvía del objetivo previsto de las tareas de segmentación interactiva. Para abordar este problema, proponemos una red de segmentación eficiente, ESM-Net, para la segmentación interactiva de imágenes médicas. Obtiene máscaras de segmentación de alta calidad basadas en los clics iniciales del usuario, reduciendo la complejidad de los pasos de refinamiento posteriores. Estudios recientes han demostrado el fuerte rendimiento del modelo Mamba en varias tareas de visión; sin embargo, su aplicación en la segmentación interactiva sigue sin explorarse. En nuestro estudio, incorporamos el módulo Mamba en nuestro marco por primera vez y mejoramos sus capacidades de representación espacial desarrollando un módulo de Convolución Aumentada Espacial (SAC). Estos componentes se combinan como los bloques de construcción fundamentales de nuestra red. Además, diseñamos una cabeza de segmentación novedosa y eficiente para fusionar características de múltiples escalas extraídas del codificador, optimizando la generación de las máscaras de segmentación predichas. A través de experimentos exhaustivos, nuestro método logró un rendimiento de vanguardia en tres conjuntos de datos de imágenes médicas. Específicamente, logramos 1.43 NoC@90 en el conjunto de datos Kvasir-SEG, 1.57 NoC@90 en el conjunto de datos de segmentación de pólipos CVC-ClinicDB y 1.03 NoC@90 en el conjunto de datos de segmentación de disco retinal ADAM. Las evaluaciones en estos tres conjuntos de datos de imágenes médicas destacan la efectividad de nuestro enfoque en la segmentación interactiva de imágenes médicas.