Uno de los problemas centrales que se debe resolver para que un proceso de optimización metaheurística funcione bien es el dilema del equilibrio entre la exploración y la explotación. Las metaheurísticas (MH) que logran este equilibrio pueden ser llamadas MH equilibradas, donde se propuso un marco de integración de Q-Learning (QL) para la selección de operadores metaheurísticos propicios para este equilibrio, en particular la selección de esquemas de binarización cuando una metaheurística continua resuelve problemas combinatorios binarios. En este trabajo, se extiende el uso de este marco a otras metaheurísticas recientes, demostrando que la integración de QL en la selección de operadores mejora el equilibrio entre exploración y explotación. Específicamente, el Algoritmo de Optimización de Ballenas y el Algoritmo Seno-Coseno son probados al resolver el Problema de la Cobertura de Conjuntos, mostrando mejoras estadísticas en este equilibrio y en la calidad de las soluciones.