El aprendizaje profundo por refuerzo (DRL) ha avanzado significativamente en la planificación de rutas en línea para vehículos aéreos no tripulados (UAV). No obstante, los métodos basados en DRL a menudo enfrentan una reducción en el rendimiento al tratar con escenarios desconocidos. Este declive se debe principalmente a la presencia de elementos no causales y específicos del dominio dentro de las representaciones visuales, que impactan negativamente en el aprendizaje de políticas. Las técnicas actuales generalmente dependen de métodos de aumento o regularización predefinidos destinados a dirigir el modelo hacia la identificación de componentes causales e invariantes del dominio, mejorando así la capacidad del modelo para generalizar. Sin embargo, estos enfoques elaborados manualmente están intrínsecamente limitados en su cobertura y no consideran todo el espectro de posibles escenarios, lo que resulta en un rendimiento menos efectivo en nuevos entornos. A diferencia de estudios anteriores, este trabajo prioriza el aprendizaje de representaciones y presenta un nuevo método para el desentrelazado de representaciones causales. El enfoque distingue con éxito entre elementos causales y no causales en los datos visuales. Al concentrarse en aspectos causales durante la fase de aprendizaje de políticas, se minimiza el impacto de los factores no causales, mejorando así la capacidad de generalización de los modelos de DRL. Los resultados experimentales demuestran que nuestra técnica logra una navegación confiable y una evitación efectiva de colisiones en escenarios no vistos, superando a los algoritmos de aprendizaje profundo por refuerzo de última generación.