La Optimización por Enjambre de Partículas (PSO) es una técnica evolutiva ampliamente utilizada que ha resuelto con éxito diversos problemas de optimización en diferentes campos de aplicación. Sin embargo, al enfrentarse a problemas de optimización más complejos, el PSO puede sufrir de convergencia prematura y quedar atrapado en óptimos locales. El objetivo principal es acelerar la convergencia y evitar que las soluciones caigan en estos óptimos locales. Este artículo presenta un nuevo enfoque para abordar estas deficiencias y mejorar el rendimiento general: utilizando un método de aprendizaje profundo de refuerzo para llevar a cabo ajustes en línea de parámetros en una Optimización por Enjambre de Partículas homogénea, donde todas las partículas exhiben comportamientos de búsqueda idénticos inspirados en modelos de influencia social entre individuos uniformes. El método actual utiliza un control de parámetros en línea para analizar y ajustar cada parámetro primario de PSO, en particular los factores de aceleración y el peso de la inercia. Inicialmente, se utiliza un modelo de proceso de decisión de Markov parcialmente observado a nivel de PSO para modelar la adaptación de parámetros en línea. Posteriormente, se implementa una clasificación de Modelo de Markov Oculto, combinada con una Red Q Profunda, para crear una nueva Optimización por Enjambre de Partículas llamada DPQ-PSO, cuyos parámetros se ajustan según el aprendizaje profundo por refuerzo. Experimentos en diferentes funciones de referencia unimodales y multimodales demuestran resultados superiores sobre la mayoría de los métodos de vanguardia en cuanto a precisión de la solución y velocidad de convergencia.