El Aprendizaje Federado (FL) está surgiendo como un paradigma alentador para el entrenamiento de modelos de IA en el sector de la salud que permite la colaboración entre instituciones sin revelar información sensible. La falta de transparencia en los modelos federados dificulta su implementación en entornos de salud, ya que el conocimiento del proceso de decisión es de suma importancia. Este documento presenta SemFedXAI, un nuevo marco que combina tecnologías de la Web Semántica y aprendizaje federado para lograr una mejor explicabilidad de los modelos de inteligencia artificial en el sector salud. SemFedXAI extiende las arquitecturas tradicionales de FL con tres componentes clave: (1) Aprendizaje Federado Mejorado por Ontología que enriquece los modelos con conocimiento del dominio, (2) un Mecanismo de Agregación Semántica que utiliza tecnologías semánticas para mejorar la consistencia e interpretabilidad de los modelos federados, y (3) un componente de Explicación Basado en Grafos de Conocimiento que proporciona explicaciones contextualizadas de las decisiones del modelo. Evaluamos SemFedXAI en el contexto de la e-salud, reportando avances notables en la calidad de las explicaciones y el rendimiento predictivo en comparación con los métodos convencionales de aprendizaje federado. Los hallazgos se refieren a las perspectivas de combinar tecnologías semánticas y aprendizaje federado como una vía para construir sistemas de IA más explicables y resilientes en el sector salud.