La creciente complejidad de los modelos matemáticos desarrollados como parte de los recientes avances en plataformas de movilidad autónoma ha llevado a una escalada en la incertidumbre. A pesar de la naturaleza intrincada de tales modelos, los métodos de detección, decisión y control para el seguimiento de trayectorias de movilidad autónoma siguen siendo críticos. Este estudio tiene como objetivo lograr el seguimiento de trayectorias basado en errores de control basados en píxeles sin parámetros en el modelo matemático. El enfoque propuesto implica derivar errores de control de un filtro de múltiples partículas basado en una cámara, estimar los coeficientes de dinámica de error a través de un enfoque de mínimos cuadrados recursivos (RLS) y utilizar el enfoque de modo deslizante y la inyección ponderada para formular una función de costo que aproveche los coeficientes estimados y los errores de control. El control de dirección adaptativo resultante acelera la convergencia de los errores de control hacia cero al determinar la magnitud de la variable de inyección en función de los errores de control y la condición de convergencia en tiempo finito. La eficacia del enfoque propuesto se evalúa a través de una trayectoria en forma de S y elíptica utilizando movilidad autónoma equipada con un único módulo de dirección y conducción. Los resultados demuestran la capacidad del enfoque para seguir razonablemente las trayectorias objetivo a través del control de conducción y dirección facilitado por un filtro de múltiples partículas y un sistema de detección de obstáculos basado en lidar.