Este trabajo discute el desarrollo de un algoritmo de control acoplado Q-learning/fuzzy para ser aplicado al control de sistemas solares de agua caliente doméstica. El controlador aporta el beneficio de mostrar un rendimiento en línea con los mejores controladores de referencia sin necesidad de dedicar tiempo a la modelización y simulaciones para ajustar sus parámetros antes de la implementación.