El reconocimiento de objetos se lleva a cabo utilizando imágenes rojas, verdes y azules (RGB) en estudios de reconocimiento de objetos. Sin embargo, las imágenes RGB en entornos de poca luz o entornos donde otros objetos ocultan los objetos objetivo causan un bajo rendimiento en el reconocimiento de objetos. En contraste, las imágenes infrarrojas (IR) proporcionan un rendimiento aceptable en el reconocimiento de objetos en estos entornos porque detectan ondas IR en lugar de iluminación visible. En este documento, proponemos una red de fusión cruzada inter e intra ponderada (Infusion-Net), que mejora el rendimiento en el reconocimiento de objetos combinando las fortalezas de los pares de imágenes RGB-IR. Infusion-Net conecta modelos duales de detección de objetos utilizando un asistente de alta frecuencia (HFA) para combinar las ventajas de las imágenes RGB-IR. Para extraer componentes de alta frecuencia, el HFA transforma las imágenes de entrada en un dominio de transformada discreta del coseno. Los componentes de alta frecuencia extraídos se ponderan a través de pesos preentrenados inter e intra para la fusión cruzada en el dominio de características. Las características fusionadas ponderadas inter se transmiten a las redes de cada uno para complementar las limitaciones de cada modalidad. Las características ponderadas intra también se utilizan para mejorar cualquier componente de alta frecuencia insuficiente de los objetos objetivo. Por lo tanto, los resultados experimentales presentan la superioridad de la red propuesta y muestran un rendimiento mejorado en la tarea de reconocimiento de objetos multiespectrales.