Se han logrado avances significativos en la robustez contra perturbaciones de entrada para redes neuronales profundas (DNN) mediante la aplicación de técnicas de entrenamiento adversarial. Sin embargo, la implementación de estos métodos para tareas de percepción en vehículos no tripulados, como la detección de objetos y la segmentación semántica, especialmente en dispositivos de computación de placa única en tiempo real, enfrenta dos desafíos principales: la naturaleza intensiva en tiempo del entrenamiento de modelos a gran escala y la degradación del rendimiento debido a la cuantización de pesos en implementaciones en tiempo real. Para abordar estos desafíos, proponemos Ca-PAT, un marco de entrenamiento adversarial eficiente y efectivo diseñado para mitigar perturbaciones. Ca-PAT representa un enfoque novedoso al integrar los efectos de cuantización en las estrategias de defensa adversarial específicamente para modelos de percepción de vehículos no tripulados en plataformas de computación de placa única. Notablemente, Ca-PAT introduce un mecanismo innovador de entrenamiento adversarial categórico-paralelo para una defensa eficiente en modelos a gran escala, junto con un marco de optimización de dirección alterna para minimizar los impactos adversos de la cuantización de pesos. Realizamos experimentos extensos en varias tareas de percepción utilizando el conjunto de datos Imagenet-te y datos recopilados de plataformas físicas de vehículos no tripulados. Los resultados demuestran que el marco de defensa Ca-PAT supera significativamente las líneas base de última generación, logrando mejoras sustanciales en robustez en una variedad de escenarios de perturbación.