Para resolver el problema de completar automáticamente la detección de seguridad en sitios de construcción y dar una alerta basada en flujos de imágenes de alta velocidad, este documento propone un método de reconocimiento de violación de reglas y regulaciones (VoRR) en un sitio de construcción y proporciona un método de coincidencia al obtener automáticamente unas pocas muestras. El método de detección de seguridad propuesto consta de cinco partes, que son reducción de información redundante, clasificación, extracción de características, coincidencia, regla de inferencia y alerta de alarma. En comparación con los métodos de detección de seguridad existentes, la precisión del método propuesto se incrementa en más del 9%. No solo tiene un mejor rendimiento, sino también más funciones: recordatorio y alarma. Para el establecimiento posterior de un modelo de sistema de supervisión no tripulado en un sitio de construcción, esta investigación proporcionará un nuevo método de apoyo a la toma de decisiones, detección de objetivos y reconocimiento en múltiples escenarios diferentes.