Roboat es una embarcación autónoma de superficie (ASV) para vías fluviales urbanas, desarrollada como proyecto de investigación por el Instituto AMS y el MIT. La plataforma puede ofrecer numerosas funciones a una ciudad, como transporte, infraestructura dinámica y un sistema autónomo de gestión de residuos. Este artículo presenta el desarrollo de un controlador basado en el aprendizaje para la plataforma Roboat con el objetivo de lograr propiedades de robustez y generalización. Específicamente, cuando se enfrenta a incertidumbre en el modelo o a perturbaciones externas, el controlador propuesto debe ser capaz de seguir trayectorias establecidas con menos error de seguimiento que el controlador predictivo no lineal actual (NMPC) utilizado en el ASV. Para lograr esto, se desarrolló una simulación de la dinámica del sistema como parte de este trabajo, basada en la investigación presentada en la literatura y en la investigación previa realizada en la plataforma Roboat. El proceso de simulación también incluyó la modelización de las incertidumbres y perturbaciones necesarias. En esta simulación, un agente de seguimiento de trayectorias fue entrenado utilizando el algoritmo de optimización de políticas proximales (PPO). El seguimiento de trayectorias del agente entrenado fue luego validado y comparado con la estrategia de control actual tanto en simulaciones como en el mundo real.