Con la proliferación continua de dispositivos de radiofrecuencia, los entornos electromagnéticos en varias regiones se están volviendo cada vez más complejos. El monitoreo efectivo del entorno electromagnético y la identificación de fuentes de interferencia se han convertido, por lo tanto, en tareas críticas para mantener el orden en el espectro electromagnético. En los últimos años, los rápidos avances en la tecnología de UAV han impulsado la exploración del monitoreo del espectro electromagnético basado en UAV como un enfoque novedoso. Sin embargo, la capacidad de carga útil limitada y la resistencia de los UAV restringen sus capacidades de monitoreo. Para abordar estos desafíos, proponemos HMUDRL, un algoritmo de aprendizaje profundo por refuerzo distribuido y heterogéneo de múltiples agentes. Al aprovechar la operación cooperativa entre UAVs cabeceras de clúster (CH) y UAVs de monitoreo de clúster (CM) dentro de un enjambre de UAVs heterogéneo, HMUDRL permite la detección de alta precisión y la localización de fuentes de radiación UHF en áreas amplias. Además, integramos un algoritmo de localización de mínimo espacio que explota la distribución espacial de múltiples CM para localizar con precisión fuentes de radiación anómalas. Los resultados de simulación validan la efectividad de HMUDRL: en las etapas posteriores del entrenamiento, la tasa de éxito en la localización de fuentes de radiación objetivo converge al 96.1%, lo que representa una mejora promedio del 1.8% sobre los algoritmos base; la precisión de localización, medida por el error cuadrático medio (RMSE), se mejora en aproximadamente un 87.3% en comparación con las bases; y la sobrecarga de comunicación se reduce en más del 80% en relación con arquitecturas homogéneas. Estos resultados demuestran que HMUDRL aborda efectivamente los desafíos del control de transmisión de datos y el rendimiento de detección-localización que enfrentan los UAV en el monitoreo del espectro UHF.