Predecir la quiebra corporativa es una tarea clave en la gestión de riesgos financieros, y seleccionar un modelo de aprendizaje automático con un rendimiento de generalización superior es crucial para la precisión de la predicción. Este estudio evalúa la efectividad de la validación cruzada k-fold como estrategia de selección de modelo para clasificadores de bosques aleatorios y XGBoost utilizando un conjunto de datos de empresas taiwanesas listadas públicamente. Empleamos un marco de validación cruzada anidado para evaluar la relación entre la validación cruzada (CV) y el rendimiento fuera de muestra (OOS) en 40 particiones de datos de entrenamiento/prueba diferentes. En promedio, encontramos que la validación cruzada k-fold es una técnica de selección válida cuando se aplica dentro de una clase de modelo; sin embargo, la validación cruzada k-fold puede fallar para divisiones de datos de entrenamiento/prueba específicas. Descubrimos que el 67% de la variabilidad en el arrepentimiento de la selección de modelo se explica por la división específica de datos de entrenamiento/prueba, resaltando una incertidumbre irredimible con la que los profesionales del mundo real deben lidiar. Nuestro estudio explora extensamente la sintonización de hiperparámetros para ambos clasificadores y destaca ideas clave. Además, investigamos elecciones de implementación práctica en la validación cruzada k-fold, como el valor de k o estrategias de predicción. Concluimos que la validación cruzada k-fold es efectiva para la selección de modelos dentro de una clase de modelo y en promedio, pero puede ser poco confiable en casos específicos o al comparar modelos de diferentes clases, este último problema merece una mayor investigación.