El algoritmo convencional utilizado para el reconocimiento y seguimiento de objetivos sufre de las incertidumbres del entorno, robot/sensores y objeto, como variaciones en la iluminación y el punto de vista, oclusión y cambios estacionales, etc. Este documento propone un sistema de vigilancia y reconocimiento basado en aprendizaje profundo para vehículos de superficie no tripulados, adoptando la red siamés como la principal arquitectura de red neuronal para lograr el seguimiento de objetivos. Su objetivo es detectar y rastrear objetivos sospechosos. El sistema propuesto percibe el entorno circundante y evita obstáculos mientras realiza el seguimiento. El sistema propuesto se evalúa con precisión, exactitud, recuperación, curva P-R y puntuación F1. Los resultados empíricos mostraron un seguimiento robusto de objetivos para los vehículos de superficie no tripulados. El enfoque propuesto contribuye a la gestión y control inteligente requeridos por los barcos de hoy, y también proporciona una nueva arquitectura de red de seguimiento para los vehículos de superficie no tripulados.