Mecanismo de atención entrenado con conjuntos de datos pequeños para segmentación de imágenes biomédicas
Autores: Weng, Weihao; Zhu, Xin; Jing, Lei; Dong, Mianxiong
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Mecanismo de atención entrenado con conjuntos de datos pequeños para segmentación de imágenes biomédicas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Dependencias a largo plazo
Mecanismo de atención
SAB
Segmentación de imágenes biomédicas
Conjuntos de datos pequeños
U-Net
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
La comprensión de las dependencias de píxeles a larga distancia juega un papel vital en la segmentación de imágenes. El uso de una CNN más un mecanismo de atención aún tiene margen de mejora, ya que las arquitecturas basadas en transformadores existentes requieren miles de muestras de entrenamiento anotadas para modelar dependencias espaciales a larga distancia. Este documento presenta una rama de atención suave (SAB), una arquitectura novedosa que simplifica la comprensión de las dependencias de píxeles a larga distancia para la segmentación de imágenes biomédicas en conjuntos de datos pequeños. El SAB es esencialmente una operación de atención modificada que implementa una subred a través de mapas de características remodelados en lugar de calcular directamente un valor softmax sobre la puntuación de atención para cada entrada. El SAB fusiona mapas de características atentos de múltiples capas para aprender atención visual en características multinivel. También introducimos el desenfoque de posición y el recorte interno específicamente para conjuntos de datos a pequeña escala para evitar el sobreajuste. Además, rediseñamos la vía de salto para reducir la brecha semántica entre cada característica capturada de la vía de contracción y expansión. Evaluamos la arquitectura de U-Net con el SAB (SAB-Net) comparándola con la U-Net original y modelos basados en transformadores ampliamente utilizados en múltiples tareas de segmentación de imágenes biomédicas relacionadas con los conjuntos de datos de Resonancia Magnética Cerebral, Resonancia Magnética Cardíaca, Tomografía Computarizada de Hígado, Tomografía Computarizada de Bazo y Colonoscopia. Nuestro conjunto de entrenamiento estaba compuesto por 100 imágenes aleatorias del conjunto de entrenamiento original, ya que nuestro objetivo era adoptar mecanismos de atención para tareas de segmentación de imágenes biomédicas con datos etiquetados a pequeña escala. Un estudio de ablación realizado en el conjunto de pruebas de Resonancia Magnética Cerebral demostró que cada método propuesto logró una mejora en la segmentación de imágenes biomédicas. La integración de los métodos propuestos ayudó a que los modelos resultantes lograran consistentemente un rendimiento sobresaliente en las cinco tareas de segmentación biomédica mencionadas. En particular, el método propuesto con U-Net mejoró su rendimiento de segmentación en un 13,76% en el conjunto de datos de Resonancia Magnética Cerebral en comparación con el U-Net original. Propusimos varios métodos novedosos para abordar la necesidad de modelar dependencias de píxeles a larga distancia en la segmentación de imágenes biomédicas a pequeña escala. Los resultados experimentales ilustraron que cada método podría mejorar la precisión de la segmentación de imágenes médicas en varios grados. Además, SAB-Net, que integró todos los métodos propuestos, logró consistentemente un rendimiento sobresaliente en las cinco tareas de segmentación biomédica.
Descripción
La comprensión de las dependencias de píxeles a larga distancia juega un papel vital en la segmentación de imágenes. El uso de una CNN más un mecanismo de atención aún tiene margen de mejora, ya que las arquitecturas basadas en transformadores existentes requieren miles de muestras de entrenamiento anotadas para modelar dependencias espaciales a larga distancia. Este documento presenta una rama de atención suave (SAB), una arquitectura novedosa que simplifica la comprensión de las dependencias de píxeles a larga distancia para la segmentación de imágenes biomédicas en conjuntos de datos pequeños. El SAB es esencialmente una operación de atención modificada que implementa una subred a través de mapas de características remodelados en lugar de calcular directamente un valor softmax sobre la puntuación de atención para cada entrada. El SAB fusiona mapas de características atentos de múltiples capas para aprender atención visual en características multinivel. También introducimos el desenfoque de posición y el recorte interno específicamente para conjuntos de datos a pequeña escala para evitar el sobreajuste. Además, rediseñamos la vía de salto para reducir la brecha semántica entre cada característica capturada de la vía de contracción y expansión. Evaluamos la arquitectura de U-Net con el SAB (SAB-Net) comparándola con la U-Net original y modelos basados en transformadores ampliamente utilizados en múltiples tareas de segmentación de imágenes biomédicas relacionadas con los conjuntos de datos de Resonancia Magnética Cerebral, Resonancia Magnética Cardíaca, Tomografía Computarizada de Hígado, Tomografía Computarizada de Bazo y Colonoscopia. Nuestro conjunto de entrenamiento estaba compuesto por 100 imágenes aleatorias del conjunto de entrenamiento original, ya que nuestro objetivo era adoptar mecanismos de atención para tareas de segmentación de imágenes biomédicas con datos etiquetados a pequeña escala. Un estudio de ablación realizado en el conjunto de pruebas de Resonancia Magnética Cerebral demostró que cada método propuesto logró una mejora en la segmentación de imágenes biomédicas. La integración de los métodos propuestos ayudó a que los modelos resultantes lograran consistentemente un rendimiento sobresaliente en las cinco tareas de segmentación biomédica mencionadas. En particular, el método propuesto con U-Net mejoró su rendimiento de segmentación en un 13,76% en el conjunto de datos de Resonancia Magnética Cerebral en comparación con el U-Net original. Propusimos varios métodos novedosos para abordar la necesidad de modelar dependencias de píxeles a larga distancia en la segmentación de imágenes biomédicas a pequeña escala. Los resultados experimentales ilustraron que cada método podría mejorar la precisión de la segmentación de imágenes médicas en varios grados. Además, SAB-Net, que integró todos los métodos propuestos, logró consistentemente un rendimiento sobresaliente en las cinco tareas de segmentación biomédica.