Predecir la solvencia crediticia es una tarea importante en la industria bancaria, ya que permite a los bancos tomar decisiones de préstamo informadas y gestionar el riesgo. En este documento, investigamos el rendimiento de dos modelos de puntuación crediticia de aprendizaje profundo desarrollados a partir de las descripciones textuales de las transacciones de los clientes disponibles a través de APIs de banca abierta. El primer modelo es un modelo de aprendizaje profundo entrenado desde cero, mientras que el segundo modelo utiliza aprendizaje por transferencia con un modelo BERT multilingüe. Evaluamos el rendimiento predictivo de estos modelos utilizando el área bajo la curva de características operativas del receptor (AUC) y la puntuación de Brier. Encontramos que un modelo de aprendizaje profundo entrenado desde cero supera a un modelo de transformador BERT ajustado en los mismos datos. Además, encontramos que SHAP se puede utilizar para explicar tales modelos tanto a nivel global como para explicar los rechazos de solicitudes reales.