Antecedentes: Una alta precisión en el dominio en modelos de aprendizaje automático (ML) en el sector de la salud no garantiza un rendimiento clínico confiable, especialmente cuando los protocolos de entrenamiento y validación no son lo suficientemente robustos. Este documento presenta un marco estandarizado para el entrenamiento y validación de modelos de ML destinados a clasificar condiciones médicas, enfatizando la necesidad de métricas de evaluación clínicamente relevantes y validación externa. Métodos: Aplicamos este marco a un estudio de caso en la clasificación de la osteoartritis de rodilla, demostrando cómo el sobreajuste, la fuga de datos y la validación inadecuada pueden llevar a una precisión engañosamente alta que no se traduce en fiabilidad clínica. Además de las métricas convencionales, introducimos medidas clínicas compuestas que capturan mejor la utilidad del mundo real. Resultados: Nuestros hallazgos muestran que los modelos con un fuerte rendimiento en el dominio pueden tener un rendimiento deficiente en conjuntos de datos externos, y que las métricas compuestas proporcionan una evaluación más matizada de la aplicabilidad clínica. Conclusiones: Los protocolos de entrenamiento y validación estandarizados, junto con una evaluación orientada clínicamente, son esenciales para desarrollar modelos de ML que sean estadísticamente robustos y clínicamente confiables en una variedad de tareas de clasificación médica.