La escalabilidad alta y el bajo costo operativo hacen que el fuzzing de protocolos de caja negra sea una herramienta vital para descubrir vulnerabilidades en el firmware de dispositivos inteligentes de IoT. Sin embargo, sigue siendo desafiante comparar los fuzzers de protocolo de caja negra debido a la falta de imágenes de firmware de referencia unificadas, semillas de mutación de fuzzing completas, métricas de rendimiento completas y un marco de evaluación estandarizado. En este documento, diseñamos e implementamos IoTFuzzBench, un marco de automatización escalable, modular y orientado a métricas para evaluar de manera integral y cuantitativa los fuzzers de protocolo de caja negra para dispositivos inteligentes de IoT. Específicamente, IoTFuzzBench ha incluido hasta ahora 14 imágenes de firmware de referencia del mundo real, 30 vulnerabilidades de referencia del mundo real verificadas, semillas de fuzzing completas para cada vulnerabilidad, 7 fuzzers populares y 5 categorías de métricas de rendimiento complementarias. Implementamos IoTFuzzBench y evaluamos 7 fuzzers populares de protocolo de caja negra en todas las imágenes de firmware de referencia y vulnerabilidades de referencia. Los resultados experimentales muestran que IoTFuzzBench no solo puede proporcionar experimentos rápidos, confiables y reproducibles, sino también evaluar eficazmente la capacidad de cada fuzzer para encontrar vulnerabilidades y el rendimiento diferencial en diferentes métricas de rendimiento. Los fuzzers encontraron un total de 13 vulnerabilidades de 30. Ninguno de estos fuzzers puede superar a los demás en todas las métricas. Este resultado demuestra la importancia de las métricas integrales. Esperamos que nuestros hallazgos alivien la carga de la evaluación de fuzzing en escenarios de IoT, avanzando en esfuerzos de evaluación de fuzzers más pragmáticos y reproducibles.