La gestión del flujo de tráfico aéreo (ATFM) es de crucial importancia para el Sistema de Control de Tráfico Aéreo Europeo debido a dos factores: primero, el impacto del ATFM, incluyendo las implicaciones de seguridad en las operaciones de ATC; segundo, las posibles consecuencias de las medidas de ATFM tanto en las operaciones de los aeropuertos como en las de las aerolíneas. Así, la unidad central de gestión del flujo busca continuamente mejorar la gestión del flujo de tráfico para reducir retrasos y congestión. En este trabajo, investigamos el uso de métodos de aprendizaje por refuerzo (RL) para calcular políticas que resuelvan los desequilibrios entre demanda y capacidad (también conocidos como congestión) durante la fase pre-táctica. Para abordar los casos en los que las demandas esperadas superan la capacidad del sector aéreo, consideramos agentes que representan vuelos que deben decidir conjuntamente sobre retrasos en tierra. Para superar problemas de escalabilidad, proponemos utilizar imágenes de píxeles en bruto como entrada, que pueden representar un número arbitrario de agentes sin cambiar la arquitectura del sistema. Este artículo compara algoritmos de aprendizaje profundo Q-learning y de gradiente de política determinista profundo con diferentes configuraciones. Los resultados experimentales, utilizando datos del mundo real para el entrenamiento y la validación, confirman la efectividad de nuestro enfoque para resolver problemas de equilibrio entre demanda y capacidad, mostrando la robustez del enfoque de RL presentado en este artículo.