Un Mapa de Entorno Radioeléctrico (REM) aéreo caracteriza la distribución espacial de la Intensidad de Señal Recibida (RSS) a través de un espacio geográfico de interés, lo cual es crucial para optimizar la comunicación inalámbrica en el aire. La construcción de REM aéreo puede depender de Vehículos Aéreos No Tripulados (UAV) para seleccionar de manera autónoma posiciones interesantes para muestrear datos de RSS, mejorando la calidad de la construcción. Sin embargo, debido a la falta de información previa sobre el entorno, es un desafío para los UAV determinar posiciones de muestreo adecuadas en línea. Además, lograr una exploración eficiente del área objetivo a través de la colaboración entre múltiples UAV es difícil. Para abordar este problema, este documento propone un enfoque de múltiples etapas para el muestreo de datos y la planificación de rutas con múltiples UAV. Específicamente, la tarea de muestreo de datos de los UAV sobre el área objetivo se divide en múltiples etapas. Al seleccionar una posición de etapa apropiada, utilizamos los valores de RSS en esa posición para determinar si se necesitan muestrear datos adicionales en un área local específica. En cada etapa, el área se divide en diagramas de Voronoi basados en la posición actual de cada UAV, asignando a cada UAV su propia región para explorar. En nuestra estrategia de muestreo, la distribución de probabilidad para el muestreo se obtiene estimando el RSS y la incertidumbre de las posiciones no muestreadas y luego tomando la suma ponderada de estos dos valores. Para obtener la ruta de vuelo más corta para las posiciones de muestreo seleccionadas, empleamos una estructura de red basada en autoatención como la red de políticas, que se entrena a través del marco actor-crítico para obtener una estrategia heurística de mejora, reemplazando las estrategias tradicionales diseñadas manualmente. Los resultados experimentales en tres escenarios diferentes indican que el enfoque mejora la calidad de la construcción del REM aéreo mientras planifica de manera eficiente las rutas más cortas para los UAV entre las posiciones de muestreo.