Es bien sabido que los métodos de conjunto a menudo proporcionan un rendimiento mejorado en el aprendizaje por refuerzo. En este documento, exploramos este concepto aún más utilizando el entrenamiento asistido por grupo dentro del paradigma del aprendizaje por refuerzo distribucional. Específicamente, proponemos una extensión al aprendizaje por refuerzo categórico, donde los objetivos de aprendizaje distribucional se basan implícitamente en la información total recopilada por un conjunto. Mostramos empíricamente que esto puede llevar a un aprendizaje inicial mucho más robusto, un nivel de rendimiento individual más fuerte y una buena eficiencia en una base por muestra.