La rueda de reacción puede ayudar a mejorar la capacidad de equilibrio de un robot de bicicleta en pavimento curvo. Sin embargo, preservar buenas actuaciones de control para un robot que se desplaza en superficies no estructuradas bajo perturbaciones coincidentes y no coincidentes es un desafío debido a la característica subactuada y la no linealidad del robot. En este documento, se desarrolla un controlador que combina algoritmos de optimización de políticas proximales con controles de modo deslizante terminal para controlar el equilibrio del robot. Se propone un control adaptativo de modo deslizante terminal basado en aprendizaje por refuerzo en línea para atenuar la influencia de la perturbación coincidente y no coincidente ajustando los parámetros del controlador en línea. A diferencia de varios enfoques de modo deslizante adaptativo existentes que solo ajustan los parámetros del controlador de alcance, el método propuesto también considera el ajuste en línea de la superficie deslizante para proporcionar una robustez adecuada contra perturbaciones no coincidentes. Los resultados experimentales de co-simulación en MSC Adams ilustran que el controlador propuesto puede lograr mejores actuaciones de control que cuatro métodos existentes para un robot de bicicleta de rueda de reacción que se desplaza en pavimento curvo, lo que verifica la robustez y aplicabilidad del método.