El seguimiento visual de objetos se adopta ampliamente en aplicaciones relacionadas con vehículos aéreos no tripulados (VANT), que exigen una precisión de seguimiento confiable y un rendimiento en tiempo real. Sin embargo, los rastreadores de VANT son altamente susceptibles a ataques adversariales, mientras que la investigación sobre el desarrollo de métodos de defensa adversarial efectivos para el seguimiento de VANT sigue siendo limitada. Para abordar estos desafíos, proponemos CMDN, una nueva red de defensa de preprocesamiento que purifica eficazmente las perturbaciones adversariales al reconstruir fotogramas de video. Esta red aprende representaciones visuales robustas a partir de fotogramas de video, guiada por características significativas tanto de la región de búsqueda como de la plantilla. Experimentos exhaustivos en tres puntos de referencia demuestran que CMDN es capaz de mejorar la robustez adversarial de un rastreador de VANT en escenarios de ataque adaptativos y no adaptativos. Además, CMDN mantiene una efectividad de defensa estable cuando se transfiere a rastreadores heterogéneos. Las pruebas en el mundo real en la plataforma VANT también validan su efectividad de defensa confiable y rendimiento en tiempo real, logrando CMDN 27 FPS en NVIDIA Jetson Orin 16 GB (modo de 25 W).