Modelo de visión y lenguaje para responder preguntas visuales en imágenes médicas
Autores: Bazi, Yakoub; Rahhal, Mohamad Mahmoud Al; Bashmal, Laila; Zuair, Mansour
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Modelo de visión y lenguaje para responder preguntas visuales en imágenes médicas
Categoría
Ingeniería y Tecnología
Subcategoría
Bioingeniería
Palabras clave
Imágenes médicas
VQA
Arquitectura codificador-decodificador de transformador
Transformador de visión
Decodificador multi-modal
Conjuntos de datos de VQA
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 63
Citaciones: Sin citaciones
En los dominios clínicos y de atención médica, las imágenes médicas desempeñan un papel crítico. Un sistema maduro de preguntas y respuestas visuales médicas (VQA) puede mejorar el diagnóstico respondiendo a preguntas clínicas presentadas con una imagen médica. A pesar de su enorme potencial en la industria y servicios de salud, esta tecnología todavía está en pañales y está lejos de un uso práctico. Este artículo introduce un enfoque basado en una arquitectura codificador-decodificador de transformador. Específicamente, extraemos características de la imagen utilizando el modelo de transformador de visión (ViT), y incrustamos la pregunta utilizando un transformador codificador textual. Luego, concatenamos las representaciones visuales y textuales resultantes y las alimentamos en un decodificador multimodal para generar la respuesta de manera autoregresiva. En los experimentos, validamos el modelo propuesto en dos conjuntos de datos de VQA para imágenes de radiología denominados VQA-RAD y PathVQA. El modelo muestra resultados prometedores en comparación con las soluciones existentes. Produce precisión cerrada y abierta del 84,99% y 72,97%, respectivamente, para VQA-RAD, y del 83,86% y 62,37%, respectivamente, para PathVQA. También se informan otras métricas como el puntaje BLUE que muestra la alineación entre las oraciones de respuesta predichas y verdaderas.
Descripción
En los dominios clínicos y de atención médica, las imágenes médicas desempeñan un papel crítico. Un sistema maduro de preguntas y respuestas visuales médicas (VQA) puede mejorar el diagnóstico respondiendo a preguntas clínicas presentadas con una imagen médica. A pesar de su enorme potencial en la industria y servicios de salud, esta tecnología todavía está en pañales y está lejos de un uso práctico. Este artículo introduce un enfoque basado en una arquitectura codificador-decodificador de transformador. Específicamente, extraemos características de la imagen utilizando el modelo de transformador de visión (ViT), y incrustamos la pregunta utilizando un transformador codificador textual. Luego, concatenamos las representaciones visuales y textuales resultantes y las alimentamos en un decodificador multimodal para generar la respuesta de manera autoregresiva. En los experimentos, validamos el modelo propuesto en dos conjuntos de datos de VQA para imágenes de radiología denominados VQA-RAD y PathVQA. El modelo muestra resultados prometedores en comparación con las soluciones existentes. Produce precisión cerrada y abierta del 84,99% y 72,97%, respectivamente, para VQA-RAD, y del 83,86% y 62,37%, respectivamente, para PathVQA. También se informan otras métricas como el puntaje BLUE que muestra la alineación entre las oraciones de respuesta predichas y verdaderas.