Estudios han demostrado que la fatiga del conductor o las emociones desagradables aumentan significativamente los riesgos al conducir. Detectar las emociones y estados de fatiga del conductor y proporcionar advertencias oportunas puede minimizar efectivamente la incidencia de accidentes de tráfico. Sin embargo, los modelos existentes rara vez combinan la detección de emociones y fatiga del conductor, y hay espacio para mejorar la precisión del reconocimiento. En este documento, proponemos un método de detección no invasivo y eficiente para la fatiga y el estado emocional del conductor, que es la primera vez que los combina en la detección del estado del conductor. En primer lugar, se preprocesan las secuencias de imágenes de video capturadas, y se utiliza Dlib (biblioteca de procesamiento de código abierto de imágenes) para localizar las regiones faciales y marcar los puntos clave; en segundo lugar, se extraen las características faciales, y se calculan indicadores de fatiga, como el tiempo de cierre de los ojos del conductor (PERCLOS) y la frecuencia de bostezos utilizando el método de doble umbral y se fusionan mediante métodos matemáticos; en tercer lugar, se introduce una red neuronal convolucional RM-Xception ligera mejorada para identificar el estado emocional del conductor; finalmente, los dos indicadores se fusionan en función de series temporales para obtener una puntuación integral para evaluar el estado del conductor. Los resultados muestran que el algoritmo de detección de fatiga propuesto en este documento tiene una alta precisión, y la precisión de la red de reconocimiento de emociones alcanza una tasa de precisión del 73.32% en el conjunto de datos Fer2013. La puntuación compuesta calculada en función de la fusión de series temporales puede reflejar de manera integral y precisa el estado del conductor en diferentes entornos y contribuir a futuras investigaciones en el campo de la conducción segura asistida.