El aprendizaje automático (ML) se utiliza cada vez más para respaldar o automatizar procesos de decisión en sistemas de decisión críticos como los autos autónomos o sistemas de diagnóstico médico. Estos sistemas requieren decisiones en las que están en juego vidas humanas y, por lo tanto, las decisiones deben estar bien fundamentadas y ser muy confiables. Esta necesidad de confiabilidad contrasta con la naturaleza de caja negra de muchos modelos de ML, lo que dificulta garantizar que siempre se comporten como se pretende. Ante las altas apuestas involucradas, la incertidumbre resultante es un desafío significativo. La inteligencia artificial explicable (XAI) aborda el problema al hacer que los modelos de caja negra sean más interpretables, a menudo para aumentar la confianza del usuario. Sin embargo, muchas aplicaciones actuales de XAI se centran más en la transparencia y la usabilidad que en mejorar la seguridad de las aplicaciones de ML. En este trabajo, por lo tanto, realizamos una revisión sistemática de la literatura para examinar cómo se puede aprovechar XAI para aumentar la seguridad de las aplicaciones de ML en sistemas de decisión críticos. Nos esforzamos por descubrir con qué propósitos se utiliza actualmente XAI en sistemas de decisión críticos, cuáles son las técnicas de XAI más comunes en sistemas de decisión críticos y cómo se puede aprovechar XAI para aumentar la seguridad de las aplicaciones de ML en sistemas de decisión críticos. Utilizando el protocolo SPAR-4-SLR, podemos responder a estas preguntas y proporcionar un recurso fundamental para investigadores y profesionales que buscan mitigar los riesgos de las aplicaciones de ML. Básicamente, identificamos enfoques prometedores de XAI que van más allá de aumentar la confianza para garantizar activamente la corrección de las decisiones. Nuestros hallazgos proponen un marco de tres capas para mejorar la seguridad de ML en sistemas de decisión críticos mediante XAI. El enfoque consiste en Confiabilidad, Validación y Verificación. Además, señalamos lagunas en la investigación y proponemos futuras direcciones de investigación de XAI para mejorar la seguridad de las aplicaciones de ML en sistemas de decisión críticos.