La síntesis de imágenes CT multimodales utilizando redes generativas adversarias profundas no supervisadas para la segmentación de lesiones por accidente cerebrovascular
Autores: Wang, Suzhe; Zhang, Xueying; Hui, Haisheng; Li, Fenglian; Wu, Zelin
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
La síntesis de imágenes CT multimodales utilizando redes generativas adversarias profundas no supervisadas para la segmentación de lesiones por accidente cerebrovascular
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje profundo
Segmentación de accidentes cerebrovasculares
Multimodal
Aumento adversarial de datos
Exploraciones cerebrales de TC
Red generativa adversarial
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 24
Citaciones: Sin citaciones
Las técnicas basadas en aprendizaje profundo pueden obtener una alta precisión para tareas de segmentación de accidentes cerebrovasculares multimodales. Sin embargo, el rendimiento a menudo requiere un gran número de ejemplos de entrenamiento. Además, los enfoques existentes de extensión de datos para la segmentación son menos eficientes en la creación de imágenes mucho más realistas. Para superar estas limitaciones, se desarrolla un mecanismo de aumento de datos adversario no supervisado (UTC-GAN) para sintetizar exploraciones cerebrales multimodales de tomografía computarizada (TC). En nuestro enfoque, la generación de muestras de TC y la diferenciación de la traducción entre modalidades se logran simultáneamente mediante la integración de una arquitectura de auto-codificador Siamese en la red generativa adversaria. Además, se propone un módulo de traducción de mezcla gaussiana, que incorpora una pérdida de traducción para aprender un mapeo intrínseco entre el espacio latente y la función de traducción multimodal. Finalmente, experimentos cualitativos y cuantitativos muestran que UTC-GAN mejora significativamente la capacidad de generación. El conjunto de datos de accidentes cerebrovasculares enriquecido por el modelo propuesto también proporciona una mejora superior en la precisión de la segmentación, en comparación con el rendimiento de los modelos no supervisados competitivos actuales.
Descripción
Las técnicas basadas en aprendizaje profundo pueden obtener una alta precisión para tareas de segmentación de accidentes cerebrovasculares multimodales. Sin embargo, el rendimiento a menudo requiere un gran número de ejemplos de entrenamiento. Además, los enfoques existentes de extensión de datos para la segmentación son menos eficientes en la creación de imágenes mucho más realistas. Para superar estas limitaciones, se desarrolla un mecanismo de aumento de datos adversario no supervisado (UTC-GAN) para sintetizar exploraciones cerebrales multimodales de tomografía computarizada (TC). En nuestro enfoque, la generación de muestras de TC y la diferenciación de la traducción entre modalidades se logran simultáneamente mediante la integración de una arquitectura de auto-codificador Siamese en la red generativa adversaria. Además, se propone un módulo de traducción de mezcla gaussiana, que incorpora una pérdida de traducción para aprender un mapeo intrínseco entre el espacio latente y la función de traducción multimodal. Finalmente, experimentos cualitativos y cuantitativos muestran que UTC-GAN mejora significativamente la capacidad de generación. El conjunto de datos de accidentes cerebrovasculares enriquecido por el modelo propuesto también proporciona una mejora superior en la precisión de la segmentación, en comparación con el rendimiento de los modelos no supervisados competitivos actuales.