La evaluación de crédito siempre ha sido una parte importante del campo financiero. Los métodos de evaluación de crédito existentes tienen dificultades para resolver los problemas de características de datos redundantes y muestras desbalanceadas. En respuesta a los problemas mencionados, se propone un modelo de conjunto que combina un algoritmo avanzado de selección de características y una función de pérdida optimizada, que puede aplicarse en el campo de la evaluación de crédito y mejorar la capacidad de gestión de riesgos de las instituciones financieras. En primer lugar, se incorpora el algoritmo Boruta para la selección de características, que puede reducir efectivamente la dimensión de los datos y el ruido, y mejorar la capacidad de generalización del modelo al identificar y filtrar automáticamente características que están altamente correlacionadas con las variables objetivo. Luego, se incorpora la función de pérdida GHM en el modelo XGBoost para abordar el problema de la distribución sesgada de muestras, que es común en la clasificación, y mejorar aún más el rendimiento de clasificación y predicción del modelo. Los experimentos comparativos en cuatro grandes conjuntos de datos demuestran que el método propuesto es superior a los métodos convencionales existentes y puede extraer características de manera efectiva y manejar el problema de muestras desbalanceadas.