El sistema de sistemas de combate no tripulado (UCSoS) en la guerra moderna está compuesto por diversas entidades interconectadas que trabajan juntas para apoyar el logro de la misión. El creciente número de entidades hace que el UCSoS sea frágil y susceptible a desencadenar efectos en cascada cuando se expone a perturbaciones inciertas como ataques o fallos. Reconfigurar el UCSoS para restaurar su efectividad de manera auto-coordinada y adaptativa basada en la situación del campo de batalla y los requisitos operativos ha atraído una atención creciente. En este documento, nos enfocamos en la reconstrucción del UCSoS con costos heterogéneos, donde los nodos de colaboración pueden tener diferentes costos de reconstrucción. Específicamente, adoptamos la red heterogénea para capturar las interdependencias entre las entidades de combate y proponemos una métrica más representativa para evaluar la efectividad de la reconstrucción del UCSoS. Luego, modelamos el problema de reconstrucción de la red de combate con costos heterogéneos como un problema de optimización no lineal y demostramos su NP-dificultad. Posteriormente, proponemos un enfoque llamado Restaurador-SoS, que se basa en el aprendizaje profundo por refuerzo (DRL), para abordar el problema de reconstrucción del UCSoS. Los resultados muestran que Restaurador-SoS puede generar rápidamente estrategias de reconstrucción y mejorar las capacidades operativas del UCSoS en aproximadamente un 2060% en comparación con el algoritmo base. Además, incluso cuando el tamaño del UCSoS excede al de los datos de entrenamiento, Restaurador-SoS muestra una capacidad de generalización robusta y puede producir resultados satisfactorios de manera eficiente en tiempo real.