Este trabajo investiga la programación integrada biobjetivo de problemas de taller de trabajo y robots de manipulación de material con tiempo de preparación. El objetivo es minimizar el tiempo máximo de finalización y la media de anticipación y retraso simultáneamente. Primero, se establece un modelo matemático para describir los problemas. Luego, se desarrollan diferentes metaheurísticas y sus variantes para resolver los problemas, incluidos algoritmos genéticos, optimización por enjambre de partículas y colonias artificiales de abejas. Para mejorar el rendimiento de los algoritmos, se proponen siete operadores de búsqueda local. Además, se diseñan dos algoritmos de aprendizaje por refuerzo, Q-learning y SARSA, para ayudar al algoritmo a seleccionar los operadores de búsqueda local apropiados durante las iteraciones, mejorando aún más la convergencia de los algoritmos. Finalmente, basándose en 82 casos de referencia con diferentes escalas, se evalúa la efectividad de los algoritmos sugeridos mediante experimentos numéricos exhaustivos. Los resultados experimentales y las discusiones muestran que el algoritmo genético con SARSA es más competitivo que sus competidores.