La elección de un buen orden de unión juega un papel importante en el rendimiento de las consultas de las bases de datos. Sin embargo, determinar el mejor orden de unión se sabe que es un problema NP-duro con un crecimiento exponencial con el número de uniones. Debido a esto, los enfoques no basados en aprendizaje para la optimización del orden de unión tienen un tiempo de optimización y ejecución más largo. En comparación, los modelos de aprendizaje automático, una vez entrenados, pueden construir planes de consulta optimizados muy rápidamente. Varios esfuerzos han aplicado el aprendizaje automático para optimizar el orden de unión en consultas SQL superando los enfoques tradicionales. En este trabajo, sugerimos una técnica de aprendizaje por refuerzo para la optimización de uniones para consultas SPARQL, ReJOOSp. Las consultas SPARQL suelen contener un número mucho mayor de uniones que las consultas SQL y, por lo tanto, son más difíciles de optimizar. Para evaluar ReJOOSp, desarrollamos aún más un optimizador de orden de unión basado en ReJOOSp e lo integramos en el DBMS de la Web Semántica Luposdate3000. La evaluación de ReJOOSp muestra su capacidad para mejorar significativamente el rendimiento de la consulta al lograr planes de ejecución de alta calidad para una parte sustancial de las consultas en conjuntos de datos sintéticos y del mundo real.