Actualmente, desplegar infraestructuras terrestres fijas no es rentable en circunstancias temporales, como desastres naturales, puntos de acceso, etc. Por lo tanto, consideramos un sistema de comunicaciones asistidas por UAV basado en caché entre múltiples usuarios terrestres (GUs) y una estación local (LS). Específicamente, un UAV se aprovecha para almacenar en caché datos de la LS y luego servir las solicitudes de los GUs para manejar el problema de enlaces no disponibles o dañados de la LS a los GUs. El UAV puede aprovechar la energía solar para su operación. Investigamos esquemas conjuntos de programación de caché y asignación de potencia utilizando la técnica de acceso múltiple no ortogonal (NOMA) para maximizar la tasa de enlace descendente a largo plazo. Se tienen en cuenta dos escenarios para la red. En el primero, se asume que se conoce la distribución de energía recolectada de los GUs, y proponemos un marco de proceso de decisión de Markov parcialmente observable para que el UAV pueda asignar potencia de transmisión óptima para cada GU en función de la caché de contenido adecuada durante cada período de vuelo. En el segundo escenario, donde el UAV no conoce la dinámica del entorno de antemano, se propone un esquema basado en actor-critic para lograr una solución mediante el aprendizaje con un entorno dinámico. Posteriormente, los resultados de la simulación verifican la efectividad de los métodos propuestos, en comparación con enfoques de referencia.