Debido a la compleja interferencia de fondo y la débil conexión espacio-temporal, los métodos tradicionales de detección de fatiga del conductor tienen un rendimiento deficiente para los conductores de camiones de minería a cielo abierto. Por estos problemas, este documento presenta un método de detección de fatiga del conductor basado en Libfacedetection y un LRCN. El método consta de tres etapas: (1) utilizar un módulo de detección de rostros con un método de seguimiento para extraer rápidamente la ROI del rostro; (2) extraer y codificar las características; (3) combinar el modelo de codificación para construir una red de clasificación espacio-temporal. La innovación del método es utilizar las características espacio-temporales de la secuencia de imágenes para construir un modelo de clasificación espacio-temporal adecuado para esta tarea. Mientras tanto, se añade un método de seguimiento a la etapa de detección de rostros para reducir el gasto de tiempo. Como resultado, la velocidad promedio con el método de seguimiento para la detección de rostros en video se incrementa en un 74% en comparación con el que no tiene el método de seguimiento. Nuestro mejor modelo adopta un DHLSTM y una agregación de fotogramas a nivel de características, lo que logra una alta precisión del 99.30% en el conjunto de datos creado internamente.