Construir confianza y transparencia en la atención médica se puede lograr utilizando Inteligencia Artificial Explicable (XAI), ya que facilita el proceso de toma de decisiones para los profesionales de la salud. Los grafos de conocimiento se pueden utilizar en XAI para la explicabilidad al estructurar información, extraer características y relaciones, y realizar razonamientos. Este artículo destaca el papel de los grafos de conocimiento en los modelos de XAI en el ámbito de la salud, considerando una revisión de vanguardia. Según nuestra revisión, los grafos de conocimiento se han utilizado para la explicabilidad para detectar desinformación en salud, reacciones adversas a medicamentos, interacciones entre medicamentos y para reducir la brecha de conocimiento entre expertos en salud y modelos basados en IA. También discutimos cómo aprovechar los grafos de conocimiento en modelos XAI en salud antes del modelo, en el modelo y después del modelo para hacerlos más explicables.