En los últimos años, los vehículos autónomos submarinos (AUV) se han empleado cada vez más para la vigilancia y el seguimiento de objetivos. Sin embargo, el rendimiento limitado y la capacidad de procesamiento de información de un solo AUV dificultan lograr un seguimiento de alta precisión en la práctica. Para abordar estos desafíos, este documento propone un marco de aprendizaje por refuerzo multiagente en línea a fuera de línea (MARL) que emplea entrenamiento fuera de línea en datos históricos para obtener la política experta. Luego, la política óptima se genera mediante tecnología de ajuste fino en línea, lo que mejora la eficiencia de entrenamiento del aprendizaje por refuerzo en nuevos escenarios. Para expandir el rango de vigilancia de los enjambres de AUV, se introduce una estrategia cooperativa distribuida basada en la entropía de información del área (AIE). Para reducir el consumo de energía en entornos marinos complejos que contienen obstáculos y vórtices, se introducen modelos de corriente oceánica y consumo de energía, junto con una estrategia de optimización de eficiencia energética. Además, se integra una red de memoria a largo y corto plazo (LSTM) en el marco MARL de fuera de línea a en línea para predecir estados ambientales variables en el tiempo, mejorando así la precisión del seguimiento y la eficiencia energética. Los resultados experimentales muestran que el esquema propuesto es superior a los esquemas de referencia en términos de consumo de energía, tasa de éxito de tareas y distancia entre AUV. Además, varios indicadores de rendimiento del enjambre de AUV extendido también son superiores a los esquemas de referencia, demostrando que el esquema propuesto tiene un excelente rendimiento y escalabilidad.