La tecnología de sensores infrarrojos de UAV desempeña un papel insustituible en diversos campos. Las imágenes infrarrojas de gran altitud presentan desafíos significativos para la extracción de características debido a su textura y color uniformes, información de borde frágil y variable, numerosos factores de interferencia de fondo y baja ocupación de píxeles de pequeños objetivos como humanos, bicicletas y diversos vehículos. En este artículo, proponemos una Red de Agregación de Características Dinámicas de Doble Rama y Multiescala (MDDFA-Net) diseñada específicamente para abordar estos desafíos en el procesamiento de imágenes infrarrojas de UAV. En primer lugar, se emplea una estructura de doble rama multiescala para extraer información de características de múltiples niveles y bordes, lo cual es crucial para detectar pequeños objetivos en fondos complejos. Posteriormente, las características a tres escalas diferentes se alimentan a un Módulo de Fusión de Características Adaptativas para la fusión ponderada por atención de características, filtrando efectivamente la interferencia de fondo. Finalmente, el Módulo de Mejora y Fusión de Características Multiescala integra características de alto y bajo nivel a través de tres escalas para eliminar información redundante y mejorar la precisión de detección de objetivos. Realizamos experimentos exhaustivos utilizando el conjunto de datos HIT-UAV, que se caracteriza por su diversidad y complejidad, particularmente en la captura de pequeños objetivos en imágenes infrarrojas de gran altitud. Nuestro método supera a varios modelos de última generación (SOTA) en múltiples métricas de evaluación y también demuestra fuertes capacidades de velocidad de inferencia en diferentes dispositivos, demostrando así las ventajas de este enfoque en el procesamiento de imágenes de sensores infrarrojos de UAV, especialmente para la detección de pequeños objetivos multiescala.