Las redes de enjambres de vehículos aéreos no tripulados (UAVSNs) pueden realizar de manera eficiente servicios de vigilancia, conectividad, computación y transferencia de energía para los usuarios en tierra (GUs). Estas misiones requieren planificación de trayectorias, asociación de UAV-GUs, descarga de tareas, selección del siguiente salto y asignación de recursos, incluyendo potencia de transmisión, ancho de banda, intervalos de tiempo, almacenamiento en caché y recursos de computación, para mejorar el rendimiento de la red. Debido a la topología altamente dinámica, recursos limitados, estrictos requisitos de calidad de servicio y falta de conocimiento global, optimizar el rendimiento de la red en UAVSNs es muy complicado. Para abordar esto, se requiere un marco de optimización conjunta adaptativa que maneje tanto variables de decisión discretas como continuas, asegurando un rendimiento óptimo bajo diversas restricciones dinámicas. Un marco adaptativo basado en aprendizaje por refuerzo profundo con múltiples agentes ofrece una solución efectiva al aprovechar su capacidad para extraer características ocultas a través de interacciones entre agentes, generar acciones híbridas bajo incertidumbre y aprender de manera adaptativa con generalización escalable en condiciones dinámicas. Este documento explora las evoluciones recientes de los marcos de actor-crítico para abordar problemas de optimización conjunta en UAVSNs proponiendo una nueva taxonomía basada en las modificaciones en la estructura interna de la red neuronal actor-crítico. Además, se identifican desafíos clave de investigación abiertos y se sugieren soluciones potenciales como direcciones para futuras investigaciones en UAVSNs.