Es de gran importancia identificar el comportamiento de conducción peligroso mediante la extracción de la trayectoria de vehículos a través de la monitorización de video para garantizar la seguridad del tráfico en carreteras. En la actualidad, no existe un método adecuado para identificar de manera precisa vehículos que conducen de manera peligrosa basándose en datos de trayectoria. Este artículo tiene como objetivo desarrollar un algoritmo de detección para identificar comportamientos de conducción peligrosa basados en la escena de la carretera, que está principalmente compuesto por la detección y etiquetado desequilibrados de conductores peligrosos, la extracción de características del comportamiento de conducción y el establecimiento de un modelo de reconocimiento sobre el comportamiento de conducción peligrosa. En primer lugar, este artículo define el índice de riesgo del vehículo relacionado con cinco tipos de comportamientos de conducción peligrosa: seguimiento peligroso, desviación lateral, aceleración y desaceleración frecuentes, cambio de carril frecuente e inserción forzada. Luego, se utilizan una variedad de métodos, incluyendo clustering K-means, algoritmo de anomalía de factor local, bosque de aislamiento y OneClassSVM, para llevar a cabo la detección de anomalías en los indicadores de riesgo de los conductores, y se propone el método óptimo para identificar conductores peligrosos. A continuación, la velocidad y aceleración de cada vehículo se transforman en Fourier para obtener las características del comportamiento de conducción del conductor. Finalmente, considerando la característica desequilibrada del conjunto de datos analizado con una proporción muy pequeña de conductores peligrosos, este artículo compara una variedad de algoritmos de clasificación desequilibrada para optimizar el rendimiento de reconocimiento del comportamiento de conducción peligrosa. Los resultados muestran que el algoritmo de detección OneClassSVM puede aplicarse de manera efectiva a la identificación del comportamiento de conducción peligrosa. El algoritmo Xgboost mejorado tiene el mejor rendimiento para los datos extremadamente desequilibrados de conductores peligrosos.