La caracterización más segura y eficiente de entornos radiactivos requiere explorar de manera inteligente, utilizando sistemas robóticos que emplean estrategias inteligentes y modelos estadísticos basados en la física. La Optimización Bayesiana (BO) proporciona un marco estadístico para encontrar de manera explicativa el máximo global en contextos ruidosos, minimizando al mismo tiempo el número de ensayos. Para la encuesta de radiación y la localización de fuentes, la ayuda de un algoritmo de aprendizaje automático podría reducir significativamente el tiempo y los riesgos para la salud requeridos en escenarios de mantenimiento y respuesta a emergencias. Se ha encontrado que mantener la explicabilidad mientras se aumenta la eficiencia de la búsqueda es posible al incluir los datos de alta incertidumbre que se recogen mientras el agente está en tránsito. Ahora que las rutas de tránsito son importantes para la adquisición de datos, también podrían optimizarse. Este artículo introduce el aprendizaje por refuerzo (RL) en el marco de búsqueda de BO. Se observa el comportamiento de este aditivo de RL en simulaciones sobre tres conjuntos de datos diferentes de datos de radiación reales. Se demuestra que el aditivo de RL puede causar aumentos significativos en la puntuación del punto máximo descubierto, pero el costo de tiempo computacional aumenta casi un 100%, mientras que el error cuadrático medio de la radiación reconstruida (RMSE) del algoritmo BO+RL coincide con el rendimiento de BO dentro del 1%.