Este artículo reflexiona sobre la explicabilidad en el contexto de las aplicaciones de inteligencia artificial (IA) médica, centrándose en los sistemas de apoyo a la toma de decisiones clínicas (CDSS) basados en IA. Después de introducir el concepto de explicabilidad en la IA y proporcionar un breve resumen de los sistemas de apoyo a la toma de decisiones clínicas (CDSS) basados en IA y el papel de la explicabilidad en los CDSS, se presentarán cuatro casos de uso de CDSS basados en IA. Los ejemplos fueron elegidos para resaltar diferentes tipos de CDSS basados en IA, así como diferentes tipos de explicaciones: una herramienta de lenguaje de máquina (ML) que carece de explicabilidad; un enfoque con explicaciones post hoc; un modelo híbrido que proporciona explicaciones basadas en conocimientos médicos; y un modelo causal que implica conceptos morales complejos. Luego, se discutirá el papel, la relevancia y las implicaciones de la explicabilidad en el contexto de los casos de uso, centrándose en siete aspectos y temas relacionados con la explicabilidad. Estos son: (1) Los destinatarios de la explicabilidad en la IA médica; (2) la relevancia de la explicabilidad para la toma de decisiones médicas; (3) el tipo de explicación proporcionada; (4) el (a menudo citado) conflicto entre explicabilidad y precisión; (5) autoridad epistémica y sesgo de automatización; (6) preferencias e valores individuales; (7) autonomía del paciente y relaciones médico-paciente. La discusión basada en casos revela que el papel y la relevancia de la explicabilidad en los CDSS basados en IA varían considerablemente dependiendo de la herramienta y el contexto de uso. Si bien es plausible suponer que la explicabilidad en la IA médica tiene implicaciones positivas, los datos empíricos sobre la explicabilidad y las implicaciones relacionadas con la explicabilidad son escasos. Se necesitan estudios basados en casos de uso para investigar no solo los aspectos técnicos de la explicabilidad, sino también las perspectivas de los clínicos y pacientes sobre la relevancia de la explicabilidad y sus implicaciones.