Las redes de comunicación multi-UAV enfrentan desafíos significativos para lograr alta eficiencia energética y baja latencia de comunicación bajo condiciones de topología dinámica e interferencia. Este documento propone un marco de Dueling Deep Q-Network (DQN) para la optimización conjunta de recursos en sistemas multi-UAV habilitados para 6G. El enfoque propuesto optimiza conjuntamente la asignación de potencia de transmisión, la asociación de enlaces entre UAV y la densidad gráfica adaptativa dentro de un marco unificado de aprendizaje por refuerzo. Al emplear una descomposición de valor-ventaja en duelo, el modelo propuesto mejora la estabilidad del aprendizaje y la convergencia en comparación con los esquemas convencionales de DQN y Double DQN (DDQN). Los resultados de simulación bajo diferentes densidades de red y escalas de UAV muestran que el Dueling DQN propuesto logra hasta un 15% más de eficiencia energética y un 12% menos de latencia de extremo a extremo, manteniendo un rendimiento robusto en escenarios de conectividad densa. Estos resultados demuestran la efectividad y escalabilidad del marco propuesto para aplicaciones de comunicación UAV sensibles a la energía y la latencia.