Los modelos de aprendizaje profundo han contribuido a alcanzar resultados sin precedentes en tareas de predicción y clasificación de sistemas de Inteligencia Artificial (IA). Sin embargo, junto a este notable progreso, no proporcionan información comprensible para los humanos sobre cómo se logró un resultado específico. En contextos donde el impacto de la IA en la vida humana es relevante (por ejemplo, herramientas de reclutamiento, diagnósticos médicos, etc.), la explicabilidad no solo es una propiedad deseable, sino que es -o, en algunos casos, pronto será- un requisito legal. La mayoría de los enfoques disponibles para implementar Inteligencia Artificial Explicable (XAI) se centran en soluciones técnicas utilizables solo por expertos capaces de manipular las funciones matemáticas recursivas en los algoritmos de aprendizaje profundo. Un enfoque complementario está representado por la IA simbólica, donde los símbolos son elementos de una lengua franca entre humanos y aprendizaje profundo. En este contexto, los Grafos de Conocimiento (KGs) y sus tecnologías semánticas subyacentes son la implementación moderna de la IA simbólica; aunque son menos flexibles y robustos al ruido en comparación con los modelos de aprendizaje profundo, los KGs están desarrollados de manera nativa para ser explicables. En este artículo, revisamos los principales enfoques de XAI existentes en la literatura, subrayando sus fortalezas y limitaciones, y proponemos la integración neural-simbólica como un pilar para diseñar una IA que esté más cerca de la comprensión de los no expertos. Dentro de tal dirección general, identificamos tres desafíos específicos para la investigación futura: emparejamiento de conocimiento, explicaciones interdisciplinarias y explicaciones interactivas.