La navegación autónoma de UAV en entornos desconocidos y complejos sigue siendo un desafío central, especialmente bajo recursos limitados de detección y computación. Si bien la mayoría de los métodos se basan en tuberías modulares que involucran mapeo, planificación y control, a menudo sufren de un rendimiento en tiempo real deficiente, adaptabilidad limitada y alta dependencia de modelos ambientales precisos. Además, muchas soluciones basadas en aprendizaje profundo utilizan imágenes RGB propensas al ruido visual o optimizan solo un único objetivo. En contraste, este artículo propone un marco unificado, libre de modelos y basado en visión, de DRL que mapea directamente imágenes de profundidad a bordo e información del estado del UAV a comandos de navegación continuos a través de una única red de política convolucional. Esta arquitectura de extremo a extremo elimina la necesidad de mapeo explícito y coordinación modular, mejorando significativamente la capacidad de respuesta y la robustez. Se diseña una nueva función de recompensa multiobjetivo para optimizar conjuntamente la eficiencia del camino, la seguridad y el consumo de energía, permitiendo un comportamiento de vuelo adaptativo en entornos complejos desconocidos. La política entrenada demuestra generalización en diversos escenarios simulados y se transfiere de manera efectiva a vuelos de UAV en el mundo real. Los experimentos muestran que nuestro enfoque logra una navegación estable y baja latencia.