Ajuste basado en la indicación de modelos de transformador para la segmentación de imágenes médicas de varios centros de cáncer de cabeza y cuello
Autores: Saeed, Numan; Ridzuan, Muhammad; Majzoub, Roba Al; Yaqub, Mohammad
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Ajuste basado en la indicación de modelos de transformador para la segmentación de imágenes médicas de varios centros de cáncer de cabeza y cuello
Categoría
Ingeniería y Tecnología
Subcategoría
Bioingeniería
Palabras clave
Segmentación de imágenes médicas
Transformador de visión
Modelos de segmentación
Datos de pre-entrenamiento
Estrategia de ajuste fino
Indicaciones
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
La segmentación de imágenes médicas es un esfuerzo vital en el campo de la salud que requiere modelos precisos y eficientes para un diagnóstico y tratamiento adecuados. Los modelos de segmentación basados en transformadores de visión (ViT) han demostrado un gran rendimiento en la realización de esta tarea. Sin embargo, para construir una base sólida, el bloque de autoatención de ViT requiere datos de pre-entrenamiento a gran escala. El presente método de modificación de modelos pre-entrenados implica actualizar todos o algunos de los parámetros de la base. Este artículo propone una nueva estrategia de ajuste fino para adaptar un modelo de segmentación basado en transformadores pre-entrenado en datos de un nuevo centro médico. Este método introduce un pequeño número de parámetros aprendibles, llamados indicaciones, en el espacio de entrada (menos del 1% de los parámetros del modelo) mientras mantiene el resto de los parámetros del modelo congelados. Estudios extensos que emplean datos de nuevos centros médicos no vistos muestran que el ajuste fino basado en indicaciones de modelos de segmentación médica proporciona un excelente rendimiento con respecto a los datos del nuevo centro con una caída insignificante con respecto a los antiguos centros. Además, nuestra estrategia ofrece una gran precisión con un mínimo de reentrenamiento en datos del nuevo centro, disminuyendo significativamente los costos computacionales y de tiempo del ajuste fino de modelos pre-entrenados. Nuestro código fuente estará disponible públicamente.
Descripción
La segmentación de imágenes médicas es un esfuerzo vital en el campo de la salud que requiere modelos precisos y eficientes para un diagnóstico y tratamiento adecuados. Los modelos de segmentación basados en transformadores de visión (ViT) han demostrado un gran rendimiento en la realización de esta tarea. Sin embargo, para construir una base sólida, el bloque de autoatención de ViT requiere datos de pre-entrenamiento a gran escala. El presente método de modificación de modelos pre-entrenados implica actualizar todos o algunos de los parámetros de la base. Este artículo propone una nueva estrategia de ajuste fino para adaptar un modelo de segmentación basado en transformadores pre-entrenado en datos de un nuevo centro médico. Este método introduce un pequeño número de parámetros aprendibles, llamados indicaciones, en el espacio de entrada (menos del 1% de los parámetros del modelo) mientras mantiene el resto de los parámetros del modelo congelados. Estudios extensos que emplean datos de nuevos centros médicos no vistos muestran que el ajuste fino basado en indicaciones de modelos de segmentación médica proporciona un excelente rendimiento con respecto a los datos del nuevo centro con una caída insignificante con respecto a los antiguos centros. Además, nuestra estrategia ofrece una gran precisión con un mínimo de reentrenamiento en datos del nuevo centro, disminuyendo significativamente los costos computacionales y de tiempo del ajuste fino de modelos pre-entrenados. Nuestro código fuente estará disponible públicamente.