Si bien la Inteligencia Artificial (IA) promete mejoras significativas para los Sistemas de Soporte a la Decisión Clínica (CDSS), la opacidad de muchos modelos de IA sigue siendo una barrera importante para su adopción clínica, principalmente debido a los desafíos de interpretabilidad y confianza. La IA Explicable (XAI) busca cerrar esta brecha al hacer que el razonamiento del modelo sea comprensible para los clínicos, pero las soluciones técnicas de XAI a menudo no han logrado abordar las necesidades reales de los clínicos, la integración en el flujo de trabajo y las preocupaciones de usabilidad. Este estudio sintetiza los desafíos persistentes en la aplicación de XAI a CDSS, incluidos los métodos de explicación desajustados, los diseños de interfaz subóptimos y las prácticas de evaluación insuficientes, y propone un marco estructurado y centrado en el usuario para guiar un desarrollo de XAI-CDSS más efectivo y confiable. Basándonos en una revisión exhaustiva de la literatura, detallamos un marco de tres fases que abarca la selección de métodos de XAI centrados en el usuario, el co-diseño de la interfaz y la evaluación y refinamiento iterativos. Demostramos su aplicación a través de un análisis de estudio de caso retrospectivo de un XAI-CDSS publicado para el cuidado de la sepsis. Nuestra síntesis destaca la importancia de alinear XAI con los flujos de trabajo clínicos, apoyar la confianza calibrada y desplegar metodologías de evaluación robustas que capturen los patrones de interacción real entre clínicos e IA, como la negociación. El análisis del caso muestra cómo el marco puede identificar y abordar sistemáticamente las brechas centradas en el usuario, lo que lleva a una mejor integración en el flujo de trabajo, explicaciones personalizadas y interfaces más utilizables. Concluimos que lograr un XAI-CDSS confiable y clínicamente útil requiere un enfoque fundamentalmente centrado en el usuario; nuestro marco ofrece orientación práctica para crear sistemas de IA explicables, utilizables y confiables en el cuidado de la salud.