En el campo de las tareas de detección de dron a dron, el problema de fusionar información temporal con datos de luz infrarroja y visible para la detección ha sido raramente estudiado. Este documento presenta el primer conjunto de datos rgb-térmico desalineado temporalmente para la detección de objetivos de dron a dron, llamado TMRGBT-D2D. El conjunto de datos cubre diversas condiciones de iluminación (es decir, escenas de alta luminosidad capturadas durante el día, escenas de luz media y baja capturadas por la noche, siendo las escenas nocturnas el 38.8% de todos los datos), diferentes escenas (cielo, bosques, edificios, sitios de construcción, parques infantiles, carreteras, etc.), diferentes estaciones y diferentes ubicaciones, consistiendo en un total de 42,624 imágenes organizadas en cuadros secuenciales extraídos de 19 pares de video RGB-T. Cada cuadro en el conjunto de datos ha sido meticulosamente anotado, con un total de 94,323 anotaciones. Excepto por los drones que no pueden ser identificados en condiciones extremas, las anotaciones de luz infrarroja y visible son correspondientes uno a uno. Este conjunto de datos presenta varios desafíos, incluyendo la detección de objetos pequeños (el tamaño promedio de los objetos en imágenes de luz visible es aproximadamente el 0.02% del área de la imagen), el desenfoque de movimiento causado por el movimiento rápido y los problemas de detección que surgen de las diferencias de imagen entre diferentes modalidades. Hasta donde sabemos, este es el primer conjunto de datos rgb-térmico desalineado temporalmente para la detección de objetivos de dron a dron, proporcionando comodidad para la investigación en fusión de imágenes rgb-térmicas y el desarrollo de la detección de objetivos de drones.