Algoritmos de Aprendizaje Profundo por Refuerzo de última generación como DQN y DDPG utilizan el concepto de un búfer de repetición llamado Replay de Experiencia. El uso por defecto contiene solo las experiencias recopiladas durante la ejecución. Proponemos un método llamado Replay de Experiencia Interpolado que utiliza transiciones almacenadas (reales) para crear sintéticas que ayuden al aprendiz. En este primer enfoque en este campo, nos limitamos a entornos discretos y no deterministas y utilizamos un simple promedio ponderado igual de la recompensa en combinación con los estados de seguimiento observados. Pudimos demostrar una mejora significativa en el promedio general en comparación con una red DQN con Replay de Experiencia básico en el entorno discreto y no determinista FrozenLake8x8-v0.