Este documento aborda el problema de la interferencia de lóbulos laterales en redes 5G proponiendo una estrategia única de formación de haces colaborativa basada en el aprendizaje por refuerzo de Deep Q-Network (DQN). Nuestro método, que opera en la banda sub-6 GHz, maximiza la dirección del haz y la gestión de potencia utilizando un sistema de dos antenas con cambiadores de fase controlados por DQN. Proporcionamos un entorno de red celular OFDM donde se gestiona la interferencia entre celdas mientras muchas estaciones base atienden a clientes dispersos aleatoriamente. Para reducir la intensidad de la interferencia y mejorar la relación señal-interferencia más ruido (SINR), el agente DQN aprende a modificar el ángulo de interferencia. Nuestro modelo integra memoria de repetición de experiencias con una red neuronal recurrente de memoria a corto y largo plazo (LSTM) para la predicción de series temporales, mejorando la estabilidad del aprendizaje. Los resultados de nuestras simulaciones muestran que nuestro enfoque DQN sugerido funciona notablemente mejor que los métodos actuales de DQN y Q-learning. En particular, nuestra técnica alcanza un máximo de 29.18 dB y un mínimo de 5.15 dB, mientras que los otros enfoques solo logran entre 0.77 y 27.04 dB. Además, disminuimos significativamente el nivel promedio de interferencia a 5.42 dB en comparación con enfoques competidores de 38.84 dB y 34.12 dB. La capacidad promedio de suma de tasas también se incrementa a 3.90 con la estrategia sugerida, superando enfoques anteriores. Estos hallazgos demuestran lo bien que nuestro método de formación de haces cooperativa reduce la interferencia y mejora el rendimiento general de la red en sistemas 5G.