El aprendizaje automático se está utilizando cada vez más y de manera ubicua en el ámbito médico. Las métricas de evaluación como la precisión, la exactitud y la recuperación pueden indicar el rendimiento de los modelos, pero no necesariamente la fiabilidad de sus resultados. Este trabajo evalúa la efectividad de varios algoritmos de aprendizaje automático aplicados a un conjunto de datos importante en el ámbito médico, específicamente en la salud mental, mediante la aplicación de metodologías de explicabilidad. Utilizando varios algoritmos de aprendizaje automático y técnicas de explicabilidad de modelos, este trabajo proporciona información sobre el funcionamiento de los modelos para ayudar a determinar la fiabilidad de las predicciones del algoritmo de aprendizaje automático. Los resultados no son intuitivos. Se encontró que los modelos se estaban enfocando significativamente en características menos relevantes y, a veces, realizando una clasificación insólita de las características para hacer las predicciones. Por lo tanto, este trabajo argumenta que es importante que la investigación en aprendizaje automático aplicado proporcione información sobre la explicabilidad de los modelos además de otras métricas de rendimiento como la exactitud. Esto es particularmente importante para aplicaciones en dominios críticos como la atención médica.