El creciente despliegue de vehículos aéreos no tripulados (UAV) en misiones ciberfísicas y críticas para la seguridad ha amplificado la necesidad de sistemas de detección de intrusiones que sean precisos, que preserven la privacidad y que sean resilientes a la manipulación adversarial. En este artículo, proponemos CM-BRF-ViT, un marco de Transformador de Visión Federado Robusto ante Bizancio y Multimodal para la detección de intrusiones en UAV que aborda conjuntamente la modelización de ataques heterogéneos, la seguridad del aprendizaje distribuido y la fusión de decisiones adaptativa. El marco propuesto integra transformaciones de Campo Angular Gramiano (GAF) con arquitecturas de Transformador de Visión (ViT) para convertir de manera efectiva características de red tabulares y ciberfísicas en representaciones visuales discriminativas adecuadas para el aprendizaje basado en atención. Para permitir la colaboración que preserva la privacidad entre nodos de UAV distribuidos, CM-BRF-ViT opera dentro de un paradigma de aprendizaje federado e introduce la Agregación de Consistencia de Referencia-GAF (ReGCA). Este novedoso mecanismo de agregación robusto ante Bizancio mide conjuntamente la consistencia de predicción y la consistencia semántica a nivel de características utilizando un conjunto de referencia confiable y un ponderado robusto basado en MAD. A diferencia de las defensas convencionales que dependen únicamente del filtrado en el espacio de parámetros, ReGCA supervisa las actualizaciones del modelo tanto a nivel de comportamiento como de representación, mejorando significativamente la robustez contra clientes maliciosos. Además, se desarrolla una cabeza de fusión multimodal aprendible para combinar de manera adaptativa las probabilidades de ataque derivadas de modalidades cibernéticas y ciberfísicas, permitiendo que el marco explote firmas de amenaza complementarias a través de las capas. Experimentos extensivos realizados en los conjuntos de datos UAVIDS-2025 y Ciberfísicos demuestran que el método propuesto logra una precisión de detección del 97.1% para el tráfico de red de UAV y del 78.5% para datos ciberfísicos, con un AUC de detección fusionada de 0.993. En configuraciones adversariales, CM-BRF-ViT preserva un 89.6% de precisión con hasta un 40% de clientes bizantinos, superando a FedAvg por más de 44 puntos porcentuales. Estudios de ablación confirman además que ReGCA, la fusión multimodal y el aprendizaje de representación basado en ViT contribuyen a ganancias de rendimiento complementarias sobre enfoques federados y centralizados de referencia. Estos resultados demuestran que CM-BRF-ViT proporciona una solución de detección de intrusiones robusta, adaptativa y consciente de la privacidad para sistemas de UAV, lo que la hace adecuada para su despliegue en redes aéreas adversariales y con recursos limitados.