Detectar e identificar pequeños objetivos infrarrojos siempre ha sido una tecnología crucial para muchas aplicaciones. Para abordar la baja precisión, la alta tasa de falsas alarmas y la escasa adaptabilidad ambiental que comúnmente existen en los métodos de detección de objetivos infrarrojos, este documento propone un modelo de detección compuesto de objetivos infrarrojos tenues y pequeños llamado USES-Net, que combina el conocimiento previo del objetivo y las redes de aprendizaje profundo impulsadas por datos convencionales para aprovechar tanto los datos etiquetados como el conocimiento del dominio. Basado en la estructura típica codificador-decodificador, USES-Net introduce en primer lugar el mecanismo de autoatención del Transformador Swin para reemplazar el núcleo de convolución universal en el extremo del codificador. Esto ayuda a extraer características potenciales relacionadas con objetivos tenues y pequeños en un campo receptivo más grande. Además, USES-Net incluye un módulo de aprendizaje de contraste basado en parches integrado (EPCLM) para integrar la distribución espacial del objetivo como un conocimiento previo en el modelo de red de entrenamiento. Esto guía el proceso de entrenamiento del modelo de red restringido con una clara interpretabilidad física. Finalmente, USES-Net también diseña un módulo de fusión de características entre capas de abajo hacia arriba (AFM) como el decodificador de la red, y se utiliza un método de mejora e inferencia asistida por división de datos basado en Inferencia Hiperasistida por División de Datos (SAHI) para mejorar aún más la precisión de detección del modelo. Un análisis comparativo experimental muestra que USES-Net logra los mejores resultados en tres conjuntos de datos típicos de objetivos débiles infrarrojos: NUAA-SIRST, NUDT-SIRST e IRSTD-1K. Los resultados de la segmentación del objetivo son completos y suficientes, lo que demuestra la validez y practicidad del método propuesto en comparación con otros.