Recientemente, ha habido una creciente preocupación sobre la vulnerabilidad de los detectores de objetos infrarrojos a los ataques adversariales, donde el detector de objetos puede ser fácilmente engañado por muestras adversariales con parches agresivos. Los ataques existentes emplean bombillas, aislantes, y bloques tanto calientes como fríos para construir parches adversariales. Estos parches son complejos de crear, costosos de producir o sensibles al tiempo, lo que los hace inadecuados para su uso práctico. En este trabajo, se propone una metodología de ataque directa y eficaz aplicable en el ámbito físico, en la que la configuración del parche se simplifica a bloques de parches de tamaño uniforme en escala de grises fijados al objeto. Este enfoque aprovecha materiales con diferente emisividad infrarroja, que son fáciles de fabricar e implementar en el mundo real y pueden perdurar en el tiempo. Utilizamos un enfoque de aprendizaje por refuerzo para optimizar gradualmente la estrategia de generación de parches hasta lograr el objetivo del ataque adversarial, que admite parches de múltiples escalas de grises y explora los efectos del tamaño del parche y la escala de grises. Los resultados de nuestros experimentos demuestran la efectividad del método. En nuestras configuraciones, la precisión promedio de YOLO v5 en el espacio digital disminuye del 95.7% al 45.4%, con una tasa de éxito del ataque del 68.3%. También es posible engañar al detector de objetos en el espacio físico.