La fusión de imágenes de TC y RM a través de GAN de aprendizaje de características acopladas
Autores: Mao, Qingyu; Zhai, Wenzhe; Lei, Xiang; Wang, Zenghui; Liang, Yongsheng
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
La fusión de imágenes de TC y RM a través de GAN de aprendizaje de características acopladas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Fusión de imágenes médicas multimodales
TC
RM
Proceso diagnóstico
Información discriminativa
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
La fusión de imágenes médicas multimodales, en particular CT y MRI, está impulsada por la necesidad de mejorar el proceso de diagnóstico al proporcionar a los médicos una imagen única y completa que encapsule todos los detalles necesarios. Los métodos de fusión existentes a menudo muestran un sesgo hacia las características de una de las imágenes fuente, lo que dificulta preservar simultáneamente la información estructural y los detalles texturales. Por lo tanto, diseñar un método de fusión efectivo que pueda preservar más información discriminativa es crucial. En este trabajo, proponemos un Generador Adversario de Aprendizaje de Características Acopladas (CFGAN) para fusionar las imágenes médicas multimodales en una única imagen informativa. El método propuesto establece un juego adversarial entre los discriminadores y un par de generadores. Primero, los generadores acoplados se entrenan para generar dos imágenes fusionadas similares a reales, que luego se utilizan para engañar a los dos discriminadores acoplados. Posteriormente, los dos discriminadores están diseñados para minimizar la distancia estructural y garantizar que la abundante información en las imágenes fuente originales se mantenga bien en la imagen fusionada. Además, potenciamos a los generadores para que sean robustos en diversas escalas mediante la construcción de un bloque de extracción de características discriminativas (DFE) con diferentes tasas de dilatación. Asimismo, introducimos un bloque de atención de interacción entre dimensiones cruzadas (CIA) para refinar las representaciones de características. Los experimentos cualitativos y cuantitativos en benchmarks comunes demuestran el rendimiento competitivo del CFGAN en comparación con otros métodos de vanguardia.
Descripción
La fusión de imágenes médicas multimodales, en particular CT y MRI, está impulsada por la necesidad de mejorar el proceso de diagnóstico al proporcionar a los médicos una imagen única y completa que encapsule todos los detalles necesarios. Los métodos de fusión existentes a menudo muestran un sesgo hacia las características de una de las imágenes fuente, lo que dificulta preservar simultáneamente la información estructural y los detalles texturales. Por lo tanto, diseñar un método de fusión efectivo que pueda preservar más información discriminativa es crucial. En este trabajo, proponemos un Generador Adversario de Aprendizaje de Características Acopladas (CFGAN) para fusionar las imágenes médicas multimodales en una única imagen informativa. El método propuesto establece un juego adversarial entre los discriminadores y un par de generadores. Primero, los generadores acoplados se entrenan para generar dos imágenes fusionadas similares a reales, que luego se utilizan para engañar a los dos discriminadores acoplados. Posteriormente, los dos discriminadores están diseñados para minimizar la distancia estructural y garantizar que la abundante información en las imágenes fuente originales se mantenga bien en la imagen fusionada. Además, potenciamos a los generadores para que sean robustos en diversas escalas mediante la construcción de un bloque de extracción de características discriminativas (DFE) con diferentes tasas de dilatación. Asimismo, introducimos un bloque de atención de interacción entre dimensiones cruzadas (CIA) para refinar las representaciones de características. Los experimentos cualitativos y cuantitativos en benchmarks comunes demuestran el rendimiento competitivo del CFGAN en comparación con otros métodos de vanguardia.