Este artículo investiga un nuevo método de programación cuadrática (QP) basado en el aprendizaje por refuerzo (RL) para el control de seguimiento de trayectoria crítico para la seguridad de vehículos autónomos submarinos (AUV). El enfoque propuesto aborda el desafío sustancial que plantea la incertidumbre del modelo, que puede obstaculizar la seguridad y el rendimiento de los AUV que operan en entornos submarinos complejos. El marco de RL puede aprender las incertidumbres inherentes del modelo que afectan las restricciones en las Funciones de Barrera de Control (CBFs) y las Funciones de Lyapunov de Control (CLFs). Estas incertidumbres aprendidas se integran posteriormente para formular un nuevo controlador de Programación Cuadrática RL-CBF-CLF (RL-CBF-CLF-QP). Se demuestran simulaciones correspondientes bajo diversos escenarios de seguimiento de trayectoria con altos niveles de incertidumbre del modelo. Los resultados de la simulación muestran que el controlador propuesto RL-CBF-CLF-QP puede mejorar significativamente la seguridad y la precisión del rendimiento de seguimiento del AUV.