Los drones autónomos ofrecen un inmenso potencial en entornos dinámicos, pero sus sistemas de navegación a menudo tienen dificultades con los obstáculos en movimiento. Este artículo presenta un enfoque novedoso para la planificación de trayectorias de drones en tales escenarios, combinando el filtro de Kalman de Múltiples Modelos Interactivos (IMM) con la Optimización de Políticas Proximales (PPO) en el aprendizaje por refuerzo (RL). El filtro de Kalman IMM aborda los desafíos de estimación de estado al modelar los patrones de movimiento potencial de los objetos en movimiento. Esto permite una predicción precisa de las posiciones futuras de los objetos, incluso en entornos inciertos. El algoritmo de aprendizaje por refuerzo PPO luego aprovecha estas predicciones para optimizar la trayectoria en tiempo real del dron. Además, la capacidad de PPO para trabajar con espacios de acción continuos lo hace ideal para los ajustes de control suaves requeridos para una navegación segura. Nuestros resultados de simulación demuestran la efectividad de este enfoque combinado. El dron navega con éxito por entornos dinámicos complejos, logrando evitar colisiones y comportamientos orientados a objetivos. Este trabajo destaca el potencial de integrar técnicas avanzadas de estimación de estado y aprendizaje por refuerzo para mejorar las capacidades de los drones autónomos en entornos impredecibles.