Muchos enfoques metaheurísticos son inherentemente estocásticos. Para comparar tales métodos, se necesitan pruebas estadísticas. Sin embargo, elegir una prueba apropiada no es trivial, dado que cada prueba tiene ciertas suposiciones sobre la distribución de los datos subyacentes que deben ser verdaderas antes de poder utilizarse. Las pruebas de permutación (P-Tests) son pruebas estadísticas con un número mínimo de suposiciones. Estas pruebas son simples, intuitivas y no paramétricas. En este documento, argumentamos que los investigadores en el campo de las metaheurísticas adopten P-Tests para comparar sus algoritmos. Definimos dos pruebas estadísticas y luego presentamos un algoritmo que las utiliza para calcular el valor p. El proceso propuesto se utiliza para comparar 5 algoritmos metaheurísticos en 10 funciones de referencia. Los valores p resultantes se comparan con los valores p de dos pruebas estadísticas ampliamente utilizadas. Los resultados muestran que la prueba P propuesta es generalmente consistente con las pruebas clásicas, pero más conservadora en algunos casos.