Los mapas espectrales de luz visual (VIS) de teledetección proporcionan características estables y ricas para la geo-localización. Sin embargo, sigue siendo un desafío utilizar las características del mapa VIS como referencias de localización durante la noche. Para construir un sistema de localización que funcione tanto de día como de noche para UAVs de larga duración, este estudio propone un sistema de localización integrado visual-inercial, donde el componente visual puede registrar tanto imágenes de cámaras RGB como de infrarrojos en un único mapa VIS unificado. Para abordar las grandes diferencias entre las imágenes visibles y térmicas, inspeccionamos varias características visuales y utilizamos una red preentrenada para la extracción y coincidencia de características entre dominios. Para obtener una posición precisa a partir de la geo-localización visual, demostramos un algoritmo de compensación de errores de localización teniendo en cuenta la actitud de la cámara, la altura de vuelo y la altura del terreno. Finalmente, la información inercial y de visión dual se fusiona con un Filtro de Kalman Extendido de Transformación de Estado (ST-EKF) para generar un rendimiento de localización a largo plazo y libre de deriva. Por último, realizamos experimentos de vuelo de larga duración a altitudes que oscilan entre 700 y 2400 m y distancias de vuelo superiores a 344.6 km. Los resultados experimentales demuestran que el error de localización del método propuesto es inferior a 50 m en su RMSE.