Se propone un marco híbrido basado en modelos y en datos en este artículo para la vigilancia autónoma de la costa utilizando un vehículo aéreo no tripulado. El enfoque propuesto comprende tres módulos individuales asistidos por redes neuronales que trabajan juntos para estimar el estado del objetivo (es decir, la línea de costa) para contribuir a su identificación y seguimiento. La línea de costa se detecta primero a través de la segmentación de imágenes utilizando una Red Neuronal Convolucional. La parte de la imagen segmentada que incluye la línea de costa detectada se alimenta a un estimador de flujo óptico en tiempo real basado en CNN. La posición de los píxeles que pertenecen a la línea de costa detectada, así como la aproximación inicial del movimiento de la línea de costa, se incorporan a un Filtro de Kalman Extendido asistido por redes neuronales que aprende de los datos y puede proporcionar estimaciones de movimiento en línea de la línea de costa (es decir, posición y velocidad en presencia de olas) utilizando los modelos del sistema y de medición con conocimiento parcial. Finalmente, la retroalimentación estimada se proporciona a un controlador de seguimiento de Servo Visual Particionado para la navegación autónoma de multirrotores a lo largo de la costa, asegurando que este último siempre permanezca dentro del campo de visión de la cámara a bordo. Una serie de estudios comparativos al aire libre utilizando un octocóptero volando a lo largo de la línea de costa en diversas condiciones climáticas y de playa demuestran la efectividad de la arquitectura sugerida.