En los sistemas de monitoreo ambiental basados en el Internet de las Cosas (IoT), los nodos de sensor (SNs) suelen enviar datos al servidor a través de un gateway inalámbrico (GW) en intervalos regulares. Sin embargo, cuando los SNs están ubicados lejos del GW, se gasta una cantidad considerable de energía en la transmisión de datos. Este artículo presenta un novedoso sistema de monitoreo ambiental basado en vehículos aéreos no tripulados (UAV). En el sistema propuesto, el UAV realiza patrullas en el área designada, y los SNs transmiten periódicamente los datos recopilados al GW o al UAV. Esta decisión de transmisión se toma teniendo en cuenta la distancia respectiva entre el GW y el UAV. Para garantizar un mapa ambiental de alta calidad, caracterizado por una recopilación consistente de una cantidad satisfactoria de datos actualizados y al mismo tiempo previniendo el agotamiento energético en los SNs y el UAV, el UAV decide periódicamente sobre tres tipos de operaciones de UAV. Estas decisiones implican decidir hacia dónde moverse, decidir si relé o agregar los datos de los SNs, y decidir si transferir energía a los SNs. Para las decisiones óptimas, presentamos un algoritmo, llamado DeepUAV, que utiliza aprendizaje profundo por refuerzo (DRL) para tomar decisiones en las operaciones del UAV. En DeepUAV, el controlador aprende continuamente en línea y mejora las decisiones del UAV a través de ensayo y error. Los resultados de la evaluación indican que DeepUAV reúne con éxito una cantidad sustancial de datos actuales de manera consistente mientras mitiga el riesgo de agotamiento energético en los SNs y el UAV.