Extracción de causalidad de texto médico utilizando modelos de lenguaje grandes (LLMs)
Autores: Gopalakrishnan, Seethalakshmi; Garbayo, Luciana; Zadrozny, Wlodek
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Extracción de causalidad de texto médico utilizando modelos de lenguaje grandes (LLMs)
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Modelos de lenguaje natural
Relaciones causales
Textos médicos
Guías de práctica clínica
Diabetes gestacional
Modelos de lenguaje grandes
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Este estudio explora el potencial de los modelos de lenguaje natural, incluidos los modelos de lenguaje grandes, para extraer relaciones causales de textos médicos, específicamente de las guías de práctica clínica (GPC). Se presentan los resultados de la extracción de causalidad de las guías de práctica clínica para la diabetes gestacional, marcando un hito en el campo. Los resultados se informan en un conjunto de experimentos utilizando variantes de BERT (BioBERT, DistilBERT y BERT) y utilizando modelos de lenguaje grandes más recientes (LLMs), a saber, GPT-4 y LLAMA2. Nuestros experimentos muestran que BioBERT tuvo un mejor rendimiento que otros modelos, incluidos los modelos de lenguaje grandes, con una puntuación F1 promedio de 0.72. Los resultados de GPT-4 y LLAMA2 muestran un rendimiento similar pero con menos consistencia. Se publican el código y un corpus anotado de declaraciones causales dentro de las guías de práctica clínica para la diabetes gestacional. La extracción de estructuras causales podría ayudar a identificar las alucinaciones de los LLMs y posiblemente prevenir algunos errores médicos si se utilizan LLMs en entornos de pacientes. Algunas extensiones prácticas de la extracción de declaraciones causales de textos médicos incluirían proporcionar apoyo diagnóstico adicional basado en relaciones causa-efecto menos frecuentes, identificar posibles inconsistencias en las guías médicas y evaluar la evidencia para las recomendaciones.
Descripción
Este estudio explora el potencial de los modelos de lenguaje natural, incluidos los modelos de lenguaje grandes, para extraer relaciones causales de textos médicos, específicamente de las guías de práctica clínica (GPC). Se presentan los resultados de la extracción de causalidad de las guías de práctica clínica para la diabetes gestacional, marcando un hito en el campo. Los resultados se informan en un conjunto de experimentos utilizando variantes de BERT (BioBERT, DistilBERT y BERT) y utilizando modelos de lenguaje grandes más recientes (LLMs), a saber, GPT-4 y LLAMA2. Nuestros experimentos muestran que BioBERT tuvo un mejor rendimiento que otros modelos, incluidos los modelos de lenguaje grandes, con una puntuación F1 promedio de 0.72. Los resultados de GPT-4 y LLAMA2 muestran un rendimiento similar pero con menos consistencia. Se publican el código y un corpus anotado de declaraciones causales dentro de las guías de práctica clínica para la diabetes gestacional. La extracción de estructuras causales podría ayudar a identificar las alucinaciones de los LLMs y posiblemente prevenir algunos errores médicos si se utilizan LLMs en entornos de pacientes. Algunas extensiones prácticas de la extracción de declaraciones causales de textos médicos incluirían proporcionar apoyo diagnóstico adicional basado en relaciones causa-efecto menos frecuentes, identificar posibles inconsistencias en las guías médicas y evaluar la evidencia para las recomendaciones.