Con la proliferación de dispositivos inteligentes y la aparición de aplicaciones de alto ancho de banda, las comunicaciones entre dispositivos (D2D) asistidas por vehículos aéreos no tripulados (UAV) y las tecnologías de acceso múltiple no ortogonal (NOMA) se están convirtiendo cada vez más en medios importantes para hacer frente a la escasez del espectro y a la alta demanda de datos en las futuras redes inalámbricas. Sin embargo, la coordinación eficiente de estas técnicas en entornos 3D complejos y cambiantes aún enfrenta muchos desafíos. Con este fin, este documento propone un modelo de comunicación D2D asistido por múltiples UAV basado en NOMA en el que se despliegan múltiples UAV en el espacio 3D para actuar como estaciones base aéreas que sirven a usuarios celulares terrestres con clústeres D2D. Para maximizar el rendimiento del sistema, este estudio construye un problema de optimización de asignación de canales conjunta, diseño de trayectorias y control de potencia, y sobre la base de estos puntos, este estudio propone un algoritmo de red neuronal profunda de Q multiagente dinámica de hipergrafo (DH-MDQN). El método de hipergrafo dinámico se utiliza primero para construir bordes simples dinámicos y hiperbordes y transformarlos en gráficos dirigidos para un coloreado dinámico eficiente que optimiza el proceso de asignación de canales; posteriormente, en términos de diseño de trayectorias y control de potencia, el problema se modela como un proceso de decisión de Markov (MDP) multiagente, y se utiliza el algoritmo de red neuronal profunda de Q multiagente (MDQN) para determinar de manera colaborativa el diseño de trayectorias y el control de potencia de los UAV. Los resultados de la simulación muestran lo siguiente: (1) el algoritmo propuesto puede lograr un mayor rendimiento del sistema que varios otros algoritmos de referencia con diferentes números de clústeres D2D, diferentes espacios de comunicación de clústeres D2D y diferentes tamaños de UAV; (2) el algoritmo propuesto diseña la optimización de la trayectoria del UAV con una mejora del 27% en el rendimiento del sistema en comparación con la trayectoria 2D; y (3) en el escenario NOMA, en comparación con el caso sin restricciones de orden de decodificación, el rendimiento del sistema muestra en promedio una mejora del 34%.