Predecir incidentes de riesgo de tráfico en primera persona ayuda a garantizar que una reacción de seguridad pueda ocurrir antes de que suceda el incidente para una amplia gama de escenarios y condiciones de conducción. Una de las dificultades para construir sistemas avanzados de asistencia al conductor es crear un sistema de alerta temprana para que el conductor reaccione de manera segura y precisa mientras percibe la diversidad de predicciones de riesgo de tráfico en aplicaciones del mundo real. En este documento, nuestro objetivo es cerrar la brecha investigando dos preguntas clave de investigación sobre el estado actual de conducción del conductor a través de videos en línea y los tipos de otros objetos en movimiento que conducen a situaciones peligrosas. Para abordar estos problemas, propusimos una arquitectura de dos etapas de extremo a extremo: en la primera etapa, se aplica aprendizaje no supervisado para recopilar todos los eventos sospechosos en la conducción real; en la segunda etapa, se utiliza aprendizaje supervisado para clasificar todos los resultados de eventos sospechosos de la primera etapa en un tipo de evento común. Para enriquecer el tipo de clasificación, los metadatos del resultado de la primera etapa se envían a la segunda etapa para manejar la limitación de datos mientras se entrena nuestro modelo de clasificación. A través de la situación en línea, nuestro método se ejecuta a fps en promedio con fps en desviación estándar. Nuestra evaluación cuantitativa muestra que nuestro método alcanza un 81.87% y un 73.43% para el puntaje F1 promedio en datos etiquetados de CST-S3D y conjuntos de datos de conducción real, respectivamente. Además, el método propuesto tiene el potencial de ayudar a las empresas de distribución a evaluar el rendimiento de conducción de sus conductores mediante el monitoreo automático de eventos de casi colisión y el análisis de patrones de conducción para programas de capacitación que reduzcan futuros accidentes.