En este papel, se estudia un problema de control de enjambre distribuido para sistemas multiagente a gran escala (LS-MASs). Diferente de los sistemas multiagente clásicos, un LS-MAS plantea nuevos desafíos para el diseño de control debido a su gran número de agentes. Podría ser más difícil desarrollar el control adecuado para lograr misiones complicadas como el enjambre colectivo. Para abordar estos desafíos, se desarrolla una novedosa teoría de juegos mixtos con un algoritmo de aprendizaje jerárquico. En el juego mixto, el LS-MAS se representa como un sistema de líder-seguidor a gran escala de múltiples grupos. Luego, se utiliza un juego cooperativo para formular el control de enjambre distribuido para los líderes de múltiples grupos, y se utiliza un juego de Stackelberg para acoplar de manera efectiva a los líderes y sus seguidores a gran escala. Utilizando la interacción entre líderes y seguidores, se utiliza el juego de campo medio para continuar el comportamiento de enjambre colectivo de líderes a seguidores de manera fluida sin aumentar la complejidad computacional ni el tráfico de comunicación. Además, se diseña un algoritmo de aprendizaje jerárquico para aprender el control de enjambre distribuido óptimo e inteligente para sistemas de líder-seguidor de múltiples grupos. Específicamente, se desarrolla un algoritmo de actor-critic de múltiples agentes para obtener primero el control de enjambre óptimo distribuido para los líderes de múltiples grupos. Además, se diseña un método actor-critic-mass para encontrar el control de enjambre descentralizado para los seguidores a gran escala. Finalmente, se realizan una serie de simulaciones numéricas y una prueba de estabilidad de Lyapunov del sistema en lazo cerrado para demostrar el rendimiento del esquema desarrollado.