La detección de vehículos aéreos no tripulados (VANT) en tiempo real es una tarea desafiante a pesar de los avances en técnicas de visión por computadora y aprendizaje profundo. El uso creciente de VANT en numerosas aplicaciones ha generado preocupaciones sobre posibles riesgos y abusos. Aunque se han propuesto métodos de detección de VANT basados en visión en los últimos años, un desafío abierto y un problema pasado por alto es el de las condiciones meteorológicas adversas. Este trabajo es el primero, hasta donde sabemos, en investigar el impacto de las condiciones climáticas adversas y las distorsiones de imagen en los métodos de detección de VANT basados en visión. Para lograr esto, se curó un conjunto de datos de entrenamiento personalizado con imágenes que contienen una variedad de VANT en diversos fondos complejos. Además, este trabajo desarrolla un conjunto de datos único, hasta donde sabemos, con imágenes que contienen VANT afectadas por condiciones adversas. Basado en los conjuntos de datos propuestos, se llevó a cabo un estudio de referencia integral para evaluar el impacto de las condiciones meteorológicas adversas y las distorsiones de imagen en el rendimiento de métodos populares de detección de objetos como YOLOv5, YOLOv8, Faster-RCNN, RetinaNet y YOLO-NAS. Los resultados experimentales revelan las debilidades de los modelos estudiados y la degradación del rendimiento debido al clima adverso, destacando vías para futuras mejoras. Los resultados muestran que incluso el mejor modelo de detección de VANT presenta una degradación en la precisión media promedio (mAP) de -50.62 puntos en condiciones de lluvia torrencial, de -52.40 puntos en condiciones de alto ruido y de -77.0 puntos en condiciones de alto desenfoque por movimiento. Para aumentar la resiliencia de los modelos seleccionados, proponemos y evaluamos una estrategia para mejorar el entrenamiento de los modelos seleccionados introduciendo efectos climáticos en las imágenes de entrenamiento. Por ejemplo, el modelo YOLOv5 con la estrategia de mejora propuesta ganó +35.4, +39.3 y +44.9 puntos más de mAP en condiciones de lluvia severa, ruido y desenfoque por movimiento respectivamente. Los hallazgos presentados en este trabajo destacan las ventajas de considerar las condiciones meteorológicas adversas durante el entrenamiento del modelo y subrayan la importancia del enriquecimiento de datos para mejorar la generalización del modelo. El trabajo también acentúa la necesidad de investigar más sobre técnicas y arquitecturas avanzadas para garantizar una detección de VANT más confiable bajo condiciones climáticas extremas y distorsiones de imagen.