Hoy en día, la Inteligencia Artificial (IA) ha revolucionado muchos campos y el campo médico no es una excepción. Gracias a los avances tecnológicos y la aparición de técnicas de Aprendizaje Profundo (DL), la IA ha traído nuevas posibilidades y mejoras significativas a la práctica médica. A pesar de los excelentes resultados de los modelos de DL en términos de precisión y rendimiento, siguen siendo cajas negras ya que no proporcionan información significativa sobre su funcionamiento interno. Aquí es donde entra en juego el campo de la IA Explicable (XAI), con el objetivo de proporcionar información sobre el funcionamiento subyacente de estos modelos de caja negra. En este artículo se aborda la explicabilidad visual de los modelos profundos en imágenes de radiografías de tórax. Esta investigación utiliza dos conjuntos de datos, el primero sobre COVID-19, neumonía viral, normalidad (pacientes sanos) y el segundo sobre opacidades pulmonares. Inicialmente se utilizan modelos CNN preentrenados (VGG16, VGG19, ResNet50, MobileNetV2, Mixnet y EfficientNetB7) para clasificar imágenes de radiografías de tórax. Luego, se realizan métodos de explicabilidad visual (GradCAM, LIME, Gradiente Vanillla, Gradiente Integrado y SmoothGrad) para comprender y explicar las decisiones tomadas por estos modelos. Los resultados obtenidos muestran que MobileNetV2 y VGG16 son los mejores modelos para el primer y segundo conjunto de datos, respectivamente. En cuanto a los métodos de explicabilidad, los resultados fueron sometidos a médicos y validados mediante el cálculo de la puntuación media de opinión. Los médicos consideraron que GradCAM, LIME y Gradiente Vanilla eran los métodos más efectivos, proporcionando explicaciones comprensibles y precisas.