Los sistemas autónomos no tripulados se han convertido en un vehículo atractivo para una multitud de aplicaciones militares y civiles. Esto se puede atribuir en parte a su capacidad para llevar cargas útiles para la utilidad, la detección y otros usos para diversas aplicaciones de forma autónoma. Sin embargo, un desafío clave en la realización de sistemas autónomos no tripulados es la capacidad de realizar misiones grupales complejas, que requieren coordinación y colaboración entre múltiples plataformas. Este documento presenta un enfoque de tarea de navegación cooperativa que permite a múltiples vehículos superficiales no tripulados (multi-USV) capturar de forma autónoma un objetivo en movimiento evitando obstáculos estáticos y dinámicos. El enfoque adopta un marco híbrido de aprendizaje profundo de refuerzo multiagente que aprovecha mecanismos heurísticos para guiar el aprendizaje de la misión grupal de los vehículos. Específicamente, el marco propuesto consta de dos etapas. En la primera etapa, se generan conjuntos de subobjetivos de navegación basados en conocimiento experto, y se utiliza un modelo heurístico de selección de objetivos basado en el modelo de red inmune para seleccionar objetivos de navegación durante el entrenamiento. A continuación, las ejecuciones de los objetivos seleccionados se aprenden utilizando la optimización de políticas proximales de actor-crítico. Los resultados de la simulación con la captura de objetivos multi-USV muestran que el enfoque propuesto es capaz de abstraer y guiar el aprendizaje de coordinación del grupo de vehículos no tripulados y lograr una ejecución de misión generalmente optimizada.