logo móvil
Contáctanos

Modelo de visión y lenguaje para responder preguntas visuales en imágenes médicas

Autores: Bazi, Yakoub; Rahhal, Mohamad Mahmoud Al; Bashmal, Laila; Zuair, Mansour

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Modelo de visión y lenguaje para responder preguntas visuales en imágenes médicas


Categoría

Ingeniería y Tecnología

Subcategoría

Bioingeniería

Palabras clave

Imágenes médicas
VQA
Arquitectura codificador-decodificador de transformador
Transformador de visión
Decodificador multi-modal
Conjuntos de datos de VQA

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 63

Citaciones: Sin citaciones


Descripción
En los dominios clínicos y de atención médica, las imágenes médicas desempeñan un papel crítico. Un sistema maduro de preguntas y respuestas visuales médicas (VQA) puede mejorar el diagnóstico respondiendo a preguntas clínicas presentadas con una imagen médica. A pesar de su enorme potencial en la industria y servicios de salud, esta tecnología todavía está en pañales y está lejos de un uso práctico. Este artículo introduce un enfoque basado en una arquitectura codificador-decodificador de transformador. Específicamente, extraemos características de la imagen utilizando el modelo de transformador de visión (ViT), y incrustamos la pregunta utilizando un transformador codificador textual. Luego, concatenamos las representaciones visuales y textuales resultantes y las alimentamos en un decodificador multimodal para generar la respuesta de manera autoregresiva. En los experimentos, validamos el modelo propuesto en dos conjuntos de datos de VQA para imágenes de radiología denominados VQA-RAD y PathVQA. El modelo muestra resultados prometedores en comparación con las soluciones existentes. Produce precisión cerrada y abierta del 84,99% y 72,97%, respectivamente, para VQA-RAD, y del 83,86% y 62,37%, respectivamente, para PathVQA. También se informan otras métricas como el puntaje BLUE que muestra la alineación entre las oraciones de respuesta predichas y verdaderas.

Otros recursos que podrían interesarte

Temas Virtualpro