La detección y localización de fuentes de radiación en áreas urbanas presentan desafíos significativos en las operaciones del espectro electromagnético, particularmente con la proliferación de pequeños UAVs. Para abordar estos desafíos, proponemos el algoritmo de Optimización de Políticas Proximales de Reconocimiento Multi-UAV (MURPPO) basado en un marco de aprendizaje por refuerzo distribuido, que utiliza un mecanismo de toma de decisiones independiente y un método de posicionamiento colaborativo con múltiples UAVs para lograr una detección y localización de fuentes de radiación de alta precisión. Adoptamos una estructura de actor de doble rama para decisiones independientes en el control de UAVs, lo que reduce la complejidad de la decisión y mejora la eficiencia del aprendizaje. El algoritmo incorpora conocimiento específico de la tarea en el diseño de la función de recompensa para guiar a los UAVs en la exploración de fuentes de radiación anormales. Además, empleamos un algoritmo de localización basado en geometría de tres puntos que aprovecha la distribución espacial de múltiples UAVs para un posicionamiento preciso de fuentes de radiación anormales. Las simulaciones en entornos urbanos demuestran la efectividad del algoritmo MURPPO, con la proporción de fuentes de radiación objetivo localizadas con éxito convergiendo al 56.5% en las etapas posteriores del entrenamiento, acercándose a una mejora del 38.5% en comparación con un algoritmo tradicional de optimización de políticas proximales de múltiples agentes. Los resultados indican que MURPPO aborda efectivamente los desafíos de la detección y localización inteligente de UAVs en operaciones complejas del espectro electromagnético urbano.