El seguimiento visual de objetos desde vehículos aéreos no tripulados (UAV) exige tanto alta precisión como eficiencia computacional para su implementación en tiempo real en plataformas con recursos limitados. Si bien los modelos de espacio de estados (SSM) ofrecen una complejidad computacional lineal, los métodos existentes enfrentan desafíos críticos de implementación. Se basan en el marco HiPPO con procedimientos de discretización complejos y emplean algoritmos conscientes del hardware optimizados para GPUs de alto rendimiento, lo que introduce sobrecarga de implementación y es difícil de transferir a plataformas de borde. Además, sus bases polinómicas fijas pueden causar pérdida de información para el seguimiento de características con estructuras geométricas complejas. Proponemos LF-SSM, un modelo de espacio de estados ligero y libre de HiPPO (Operadores de Proyección Polinómica de Alto Orden) que reformula la evolución del estado en variedades riemannianas. La contribución principal es el Módulo de Estado Geodésico (GSM), que realiza actualizaciones de estado a través de proyección en el espacio tangente y mapeo exponencial en la esfera unitaria. Este diseño elimina la discretización compleja y los núcleos de hardware especializados, al tiempo que proporciona sistemas de coordenadas locales adaptativos. Experimentos extensivos en bancos de pruebas de UAV demuestran que LF-SSM logra un rendimiento de vanguardia mientras se ejecuta a 69 fotogramas por segundo (FPS) con solo 18.5 M de parámetros, demostrando una eficiencia superior para la implementación en tiempo real en el borde.