La congestión de multitudes es una de las principales causas de problemas modernos de seguridad pública, como estampidas. La monitorización convencional de la congestión de multitudes mediante videovigilancia de circuito cerrado (CCTV) se basa en la observación manual, lo cual es tedioso y a menudo propenso a errores en espacios urbanos públicos donde las multitudes son densas y las obstrucciones son prominentes. Con el objetivo de gestionar espacios concurridos de manera segura, este estudio propone un marco que combina información espacial y temporal para mapear automáticamente las trayectorias de los ocupantes individuales, así como para ayudar en la monitorización y predicción de la congestión en tiempo real. Mediante la explotación de características de las imágenes de CCTV y la información espacial del espacio público, el marco fusiona videos de CCTV en bruto e información de planos para crear ayudas visuales para la monitorización de multitudes, así como una secuencia de gráficos de movilidad de multitudes (CMGraphs) para almacenar características espacio temporales. Este marco utiliza modelos de visión por computadora basados en aprendizaje profundo, transformaciones geométricas y algoritmos de seguimiento basados en filtros de Kalman para automatizar la recuperación de datos de congestión de multitudes, específicamente la distribución espacio temporal de individuos y el flujo general de multitudes. Los datos resultantes del movimiento colectivo de multitudes se almacenan en los CMGraphs, los cuales están diseñados para facilitar la predicción de congestión en regiones clave de salida/entrada. Demostramos nuestro marco con dos conjuntos de datos de video, uno público de un conjunto de datos de estación de tren y otro grabado en un estadio después de un partido de fútbol concurrido. Utilizando percepciones cualitativas y cuantitativas de los experimentos, demostramos que el marco sugerido puede ser útil para ayudar a los urbanistas y operadores de infraestructuras en la gestión de peligros de congestión.