Los hiperparámetros en aprendizaje automático (ML) han recibido una cantidad considerable de atención, y el ajuste de hiperparámetros se ha convertido en un paso importante en el proceso de ML. Sin embargo, ¿qué tan útil es dicho ajuste? Aunque previamente se han realizado experimentos a pequeña escala, aquí llevamos a cabo una investigación a gran escala, específicamente una que involucra 26 algoritmos de ML, 250 conjuntos de datos (regresión y clasificación binaria y multinomial), 6 métricas de puntuación y 28,857,600 ejecuciones de algoritmos. Analizando los resultados, concluimos que para muchos algoritmos de ML, no deberíamos esperar ganancias considerable de ajuste de hiperparámetros en promedio; sin embargo, puede haber algunos conjuntos de datos para los cuales los hiperparámetros predeterminados funcionan mal, especialmente para algunos algoritmos. Al definir un único valor, que combina las estadísticas acumuladas de un algoritmo, podemos clasificar los 26 algoritmos de ML desde aquellos que se espera que obtengan más beneficios del ajuste de hiperparámetros hasta aquellos que se espera que obtengan menos. Creemos que dicho estudio servirá a los practicantes de ML en general.