El requisito de interpretabilidad es uno de los mayores obstáculos al implementar modelos de aprendizaje automático en varios campos prácticos. Los métodos de Inteligencia Artificial Explicable (XAI) abordan esos problemas. Sin embargo, el creciente número de soluciones diferentes en este campo crea una demanda para evaluar la calidad de las explicaciones y compararlas. En los últimos años, se han realizado varios intentos para consolidar los métodos dispersos de evaluación de calidad de XAI en un único punto de referencia. Esos intentos generalmente han sufrido de un enfoque solo en la importancia de las características, una falta de personalización y la ausencia de un marco de evaluación. En este trabajo, se propone el Benchmark de Inteligencia Artificial Explicable (XAIB). En comparación con los benchmarks existentes, XAIB es más universal, extensible y tiene una ontología de evaluación completa en forma del Marco Co-12. Debido a su diseño modular especial, es fácil agregar nuevos conjuntos de datos, modelos, explicadores y métricas de calidad. Además, una capa de abstracción adicional construida con un principio de inversión de control los hace más fáciles de usar. El benchmark contribuirá a la investigación en inteligencia artificial al proporcionar una plataforma para experimentos de evaluación y, al mismo tiempo, contribuirá a la ingeniería al proporcionar una forma de comparar explicadores utilizando conjuntos de datos personalizados y modelos de aprendizaje automático, lo que acerca la evaluación a la práctica.