La detección efectiva de la somnolencia del conductor es una medida importante para prevenir accidentes de tráfico. La mayoría de los métodos existentes para la detección de somnolencia solo utilizan una única característica facial para identificar el estado de fatiga, ignorando la compleja correlación entre las características de fatiga y la información temporal de estas características, lo que reduce la precisión del reconocimiento. Para resolver estos problemas, proponemos un modelo de estimación de somnolencia del conductor basado en la fusión de características bilineales factorizadas y una red convolucional recurrente de corto y largo plazo para detectar la somnolencia del conductor de manera eficiente y precisa. El marco propuesto incluye tres modelos: extracción de características de fatiga, fusión de características de fatiga y detección de somnolencia del conductor. Primero, utilizamos una red neuronal convolucional (CNN) para extraer de manera efectiva la representación profunda de las características de fatiga relacionadas con los ojos y la boca de la zona facial detectada en cada fotograma de video. Luego, basándonos en el modelo de fusión de características bilineales factorizadas, realizamos una fusión no lineal de las representaciones de características profundas de los ojos y la boca. Finalmente, introdujimos una serie de características fusionadas a nivel de fotograma en una unidad de memoria a corto y largo plazo (LSTM) para obtener la información temporal de las características y utilizamos el clasificador softmax para detectar la somnolencia. El marco propuesto fue evaluado con el conjunto de datos de video de detección de conductores somnolientos de la Universidad Nacional Tsing Hua (NTHU-DDD). Los resultados experimentales mostraron que este método tenía mejor estabilidad y robustez en comparación con otros métodos.