Los avances en tecnologías de aprendizaje automático en los últimos años han facilitado el desarrollo de sistemas robóticos autónomos. El diseño de estos sistemas autónomos generalmente requiere modelos del sistema robótico y del mundo especificados manualmente al utilizar estrategias basadas en control clásico, o un entrenamiento basado en datos que consume mucho tiempo y es costoso computacionalmente al utilizar estrategias basadas en aprendizaje. La combinación de estrategias de control clásico y basadas en aprendizaje puede mitigar ambos requisitos. Sin embargo, el rendimiento del sistema de control combinado no es obvio dado que hay dos controladores separados. Este artículo se centra en una de estas combinaciones, que utiliza compensación de gravedad junto con aprendizaje por refuerzo (RL). Presentamos un estudio de los efectos de la compensación de gravedad en el rendimiento de dos algoritmos de aprendizaje por refuerzo al resolver tareas de alcance utilizando un brazo robótico simulado de siete grados de libertad. Los resultados de nuestro estudio demuestran que la compensación de gravedad acoplada con RL puede reducir el entrenamiento requerido en tareas de alcance que involucran ubicaciones de objetivo elevadas, pero no en todas las ubicaciones de objetivo.