Los sitios web públicos ofrecen información sobre una variedad de temas y servicios, y son accesibles para usuarios con diferentes habilidades para navegar por este tipo de repositorios de documentos electrónicos. Sin embargo, la compleja estructura del sitio web y la diversidad del comportamiento de navegación en la web crean una tarea desafiante para la predicción de clics. Este documento presenta los resultados de un enfoque novedoso de aprendizaje por refuerzo para modelar los patrones de navegación de los usuarios en un sitio web municipal ordenado jerárquicamente. Estudiamos cuán preciso es el historial de navegación como predictor, cuando las páginas objetivo no son las páginas inmediatas siguientes señaladas por hipervínculos, sino que aparecen a varios niveles por debajo de la jerarquía. Comparamos el rendimiento de los clasificadores de referencia de tipo tradicional con nuestro algoritmo de entrenamiento basado en aprendizaje por refuerzo.