Muchas soluciones de control de seguimiento propuestas en la literatura dependen de varias formas de señales de error de seguimiento a expensas de pasar por alto otros criterios dinámicos, como la optimización del esfuerzo de control, el sobreimpulso y el tiempo de asentamiento, por ejemplo. En este artículo, se presenta un marco arquitectónico de control sin modelo para rastrear señales de referencia mientras se optimizan otros criterios según la preferencia del diseñador. La arquitectura de control es sin modelo en el sentido de que la dinámica de la planta no tiene que conocerse de antemano. Con este fin, proponemos y comparamos cuatro algoritmos de control de seguimiento que integran sinérgicamente algunas herramientas de aprendizaje automático para comprometerse entre el seguimiento de una señal de referencia y la optimización de una función de costo dinámica definida por el usuario. Esto se logra a través de dos bucles de control orquestados, uno para el seguimiento y otro para la optimización. Se diseñan y comparan dos algoritmos de control para el bucle de seguimiento. El primero se basa en el aprendizaje por refuerzo, mientras que el segundo se basa en una técnica de aceptación de umbral no lineal. El bucle de control de optimización se implementa utilizando una red neuronal artificial. Cada controlador se entrena fuera de línea antes de ser integrado en el sistema de control agregado. Los resultados de simulación de tres escenarios con diversas complejidades demostraron la efectividad de los esquemas de control propuestos para forzar la convergencia del error de seguimiento mientras se minimiza una función objetivo predefinida a nivel del sistema.