La mayoría de los métodos existentes de búsqueda colaborativa con múltiples UAV solo consideran escenarios de planificación de rutas bidimensional o búsqueda de objetivos estáticos. Para acercarse al escenario práctico, este artículo propone un método de planificación de rutas basado en un algoritmo de optimización de políticas proximales de múltiples agentes con máscara de acción (AM-MAPPO) para múltiples UAV que buscan objetivos en movimiento en entornos tridimensionales (3D). En particular, se introduce una arquitectura de búsqueda colaborativa de UAV de alta y baja altitud que no solo tiene en cuenta el amplio rango de detección de los UAV de alta altitud, sino que también aprovecha el beneficio de la superior calidad de detección de los UAV de baja altitud. El objetivo de optimización de la tarea de búsqueda es minimizar la incertidumbre del área de búsqueda mientras se maximiza el número de objetivos en movimiento capturados. El problema de planificación de rutas para la búsqueda de objetivos en movimiento en un entorno 3D se formula y aborda utilizando el algoritmo AM-MAPPO. El método propuesto incorpora un mecanismo de representación del estado basado en la codificación del campo de visión para manejar cambios dinámicos en las dimensiones de entrada de la red neuronal y desarrolla un mecanismo de captura de objetivos basado en reglas y un mecanismo de evitación de colisiones basado en máscara de acción para mejorar la velocidad de convergencia del algoritmo AM-MAPPO. Los resultados experimentales demuestran que el algoritmo propuesto reduce significativamente la incertidumbre regional y aumenta el número de objetivos en movimiento capturados en comparación con otros métodos de aprendizaje por refuerzo profundo. Los estudios de ablación indican además que el mecanismo de máscara de acción propuesto, el mecanismo de captura de objetivos y el mecanismo de evitación de colisiones del algoritmo AM-MAPPO pueden mejorar la efectividad del algoritmo, la capacidad de captura de objetivos y la seguridad de los UAV, respectivamente.