Recientemente, los sistemas de videovigilancia han despertado un interés significativo en varias áreas de aplicación. El examen de secuencias de video para la detección y seguimiento de objetos sigue siendo un problema importante en el campo del procesamiento de imágenes y la visión por computadora. El proceso de detección y seguimiento de objetos incluye la extracción de objetos en movimiento de los fotogramas y su seguimiento continuo en el tiempo. Los últimos avances en técnicas de inteligencia computacional (CI) se han vuelto populares en el campo del procesamiento de imágenes y la visión por computadora. En este aspecto, este estudio presenta un novedoso algoritmo de búsqueda de armonía basado en inteligencia computacional para la detección y seguimiento de objetos en tiempo real (CIHSA-RTODT) en sistemas de videovigilancia. La técnica CIHSA-RTODT se centra principalmente en detectar y seguir los objetos que existen en el fotograma del video. La técnica CIHSA-RTODT incorpora un módulo de detección de objetos basado en RefineDet mejorado, que puede reconocer eficazmente múltiples objetos en el fotograma del video. Además, los valores de hiperparámetros del modelo RefineDet mejorado se ajustan mediante el uso del optimizador Adagrad. Además, se emplea un algoritmo de búsqueda de armonía (HSA) con un modelo de máquina de soporte vectorial gemela (TWSVM) para la clasificación de objetos. El diseño de la extracción óptima de características de RefineDet con la aplicación de HSA para ajustar adecuadamente los parámetros involucrados en el modelo TWSVM para la detección y seguimiento de objetos muestra la novedad del trabajo. Se lleva a cabo una amplia gama de análisis experimentales en un conjunto de datos de acceso abierto, y los resultados se inspeccionan de varias formas. El resultado de la simulación informó la superioridad de la técnica CIHSA-RTODT sobre las otras técnicas existentes.