La autonomía en la navegación de vehículos aéreos no tripulados (UAV) ha permitido aplicaciones en diversos campos como la minería, la agricultura de precisión y la exploración planetaria. Sin embargo, las aplicaciones desafiantes en entornos complejos complican la interacción entre el agente y su entorno. Condiciones como la ausencia de un sistema de navegación por satélite global (GNSS), baja visibilidad y entornos desordenados aumentan significativamente los niveles de incertidumbre y causan observabilidad parcial. Estos desafíos crecen cuando se emplean sensores compactos, de bajo costo y de nivel de entrada. Este estudio propone un enfoque de aprendizaje por refuerzo (RL) basado en modelos para permitir que los UAV naveguen y tomen decisiones de manera autónoma en entornos donde el GNSS no está disponible y la visibilidad es limitada. Diseñado para operaciones de búsqueda y rescate, el sistema permite a los UAV navegar en entornos interiores desordenados, detectar objetivos y evitar obstáculos en condiciones de baja visibilidad. La arquitectura integra sensores a bordo, incluyendo una cámara térmica para detectar a una persona colapsada (objetivo), un LiDAR 2D y un IMU para la localización. El módulo de toma de decisiones emplea el solucionador ABT para el cálculo de políticas en tiempo real. El marco presentado en este trabajo se basa en sensores de bajo costo y de nivel de entrada, lo que lo hace adecuado para plataformas UAV ligeras. Los resultados experimentales demuestran altas tasas de éxito en la detección de objetivos y un rendimiento robusto en la evitación de obstáculos y navegación a pesar de las incertidumbres en la estimación de pose y detección. El sistema propuesto fue evaluado primero en simulación, comparado con un algoritmo base, y luego a través de pruebas en la vida real en varios escenarios. El sistema propuesto representa un avance en la autonomía de los UAV para aplicaciones críticas, con posibles extensiones a entornos desconocidos y completamente estocásticos.