La navegación basada en el aprendizaje por refuerzo profundo (DRL) en un entorno con obstáculos dinámicos es una tarea desafiante debido a la naturaleza parcialmente observable del problema. Mientras que los algoritmos de DRL se construyen en torno a la propiedad de Markov (suposición de que toda la información necesaria para tomar una decisión está contenida en una sola observación del estado actual) para estructurar el proceso de aprendizaje; la propiedad de Markov parcialmente observable en el problema de navegación de DRL se amplifica significativamente al tratar con obstáculos dinámicos. Una sola observación o medición del entorno a menudo es insuficiente para capturar el comportamiento dinámico de los obstáculos, lo que obstaculiza la toma de decisiones del agente. Este estudio aborda este desafío utilizando un enfoque heurístico específico del entorno para aumentar la información temporal de los obstáculos dinámicos en la observación para guiar la toma de decisiones del agente. Proponemos la Observación de Mapa de Costos Multicanal para Información Espacial y Temporal (M-COST) para mitigar estas limitaciones. Nuestros resultados muestran que el enfoque M-COST más que duplica la tasa de convergencia en situaciones de túneles concentrados, donde la navegación exitosa solo es posible si el agente aprende a evitar obstáculos dinámicos. Además, la eficiencia de navegación mejoró en un 35% en escenarios de túneles y en un 12% en la navegación en entornos densos en comparación con los métodos estándar que dependen de datos de sensores en bruto o apilamiento de cuadros.