El control de formación cooperativa de vehículos terrestres no tripulados (UGVs) se ha convertido en uno de los importantes focos de investigación en la aplicación de UGV y ha atraído cada vez más atención en los campos militar y civil. En comparación con los algoritmos tradicionales de control de formación, los algoritmos basados en aprendizaje por refuerzo pueden proporcionar una nueva solución con una complejidad menor para el control de formación en tiempo real al equipar a los UGV con inteligencia artificial. Por lo tanto, en este artículo, se propone un algoritmo de control de formación cooperativa basado en aprendizaje profundo por refuerzo distribuido para resolver las tareas de navegación, mantenimiento y evitación de obstáculos de las formaciones de UGV. Más importante aún, la estructura de formación triangular jerárquica y el proceso de decisión de Markov recién diseñado para las formaciones de UGV con atributos de líder y seguidor hacen que la estrategia de control aprendida por el algoritmo sea reutilizable, de modo que la formación pueda aumentar arbitrariamente el número de UGV y realizar una expansión más flexible. La efectividad y escalabilidad del algoritmo se verifica mediante experimentos de simulación de formación de diferentes escalas.