El rendimiento de la formación de vehículos terrestres no tripulados (UGV) es crucial para el transporte de materiales a gran escala. En un entorno no comunicativo, la percepción visual juega un papel central en el control de la formación. Sin embargo, debido a las condiciones de iluminación inestables, el polvo, la niebla y las oclusiones visuales, desarrollar una tecnología de control de formación visual de alta precisión que no dependa de marcadores externos sigue siendo un desafío significativo en los UGV. Este estudio desarrolló un nuevo controlador de formación de UGV que se basa únicamente en sensores visuales a bordo y propuso un método de entrenamiento de maestro-alumno, TSTMIPI, que combina el algoritmo PPO con el aprendizaje por imitación, lo que mejora significativamente la precisión de control y la velocidad de convergencia del controlador de formación basado en aprendizaje por refuerzo visual. Para mejorar aún más la estabilidad del control de formación, construimos un codificador de estado de creencia (BSE) basado en redes neuronales convolucionales, que integra de manera efectiva la percepción visual y la información proprioceptiva. Los resultados de la simulación muestran que la estrategia de control que combina TSTMIPI y BSE no solo elimina la dependencia de marcadores externos, sino que también mejora significativamente la precisión de control bajo diferentes niveles de ruido y condiciones de oclusión visual, superando los métodos existentes de control de formación visual en el mantenimiento de la distancia y precisión angular deseadas.