En las redes de almacenamiento en caché de dispositivo a dispositivo (D2D) asistidas por vehículos aéreos no tripulados (UAV), la incertidumbre de las demandas de contenido impredecibles y las posiciones variables de los usuarios plantea un desafío significativo para los métodos de optimización tradicionales, a menudo haciéndolos poco prácticos. El aprendizaje profundo de refuerzo multiagente (MADRL) ofrece ventajas significativas en la optimización de decisiones del sistema multiagente y sirve como una alternativa efectiva y práctica. Sin embargo, su aplicación en entornos dinámicos a gran escala está severamente limitada por la maldición de la dimensionalidad y la sobrecarga de comunicación. Para resolver este problema, desarrollamos un marco escalable heterogéneo de actor-crítico de campo medio multiagente (SH-MAMFAC). El marco trata a los usuarios terrestres (GUs) y a los UAV como agentes distintos y diseña recompensas cooperativas para convertir el problema de asignación de recursos en un juego completamente cooperativo, mejorando el rendimiento de la red global. También implementamos una estrategia de mapeo de acciones mixtas para manejar espacios de acción discretos y continuos. Se introduce un marco MADRL de campo medio para minimizar las cargas de entrenamiento de agentes individuales mientras se mejora la probabilidad total de aciertos en caché (CHP). Los resultados de la simulación muestran que nuestro algoritmo mejora CHP y reduce la demora de transmisión. Un análisis comparativo con los algoritmos de aprendizaje profundo de refuerzo (DRL) existentes muestra que SH-MAMFAC reduce significativamente el tiempo de entrenamiento y mantiene un alto CHP a medida que crece el recuento de GU. Además, al comparar con las variantes de SH-MAMFAC que no incluyen optimización de trayectoria o control de potencia, el esquema de diseño conjunto propuesto reduce significativamente la demora de transmisión.