Con la creciente disponibilidad de dispositivos portátiles para la recopilación de datos, los estudios sobre el reconocimiento de la actividad humana han ganado una gran popularidad. Estos estudios informan de altas precisión en la validación cruzada k-fold, lo cual no refleja su rendimiento de generalización, sino que es resultado de la división inapropiada de los conjuntos de datos de prueba y entrenamiento, lo que hace que estos modelos evalúen a los mismos sujetos en los que fueron entrenados, volviéndolos dependientes del sujeto. Este estudio discute de manera comparativa este enfoque de validación con un enfoque universal, la validación cruzada Leave-One-Subject-Out (LOSO), que no es dependiente del sujeto y garantiza que un sujeto completamente nuevo se utilice para la evaluación en cada pliegue, validado en cuatro modelos de aprendizaje automático diferentes entrenados en datos segmentados y características diseñadas a mano seleccionadas. El modelo de bosque aleatorio, con la mayor precisión del 76% al ser evaluado en LOSO, logró una precisión del 89% en la validación cruzada k-fold, demostrando una fuga de datos. Además, este experimento subraya la importancia de las características diseñadas a mano al contrastar su precisión con la de los modelos de sensores en bruto. Los modelos de características muestran una precisión notablemente 30% más alta, destacando la importancia del diseño de características para mejorar la robustez y precisión de los sistemas de reconocimiento de actividad humana.