El monitoreo de las condiciones psicofísicas de los conductores es crucial para garantizar la seguridad vial. Sin embargo, lograr un monitoreo en tiempo real dentro de un vehículo presenta desafíos significativos debido a factores como las condiciones variables de iluminación, las vibraciones del vehículo, los recursos computacionales limitados, las preocupaciones sobre la privacidad de los datos y la variabilidad inherente en el comportamiento del conductor. Analizar los estados del conductor utilizando imágenes del espectro visible es particularmente desafiante en condiciones de poca luz, como por la noche. Además, depender de un solo indicador de comportamiento a menudo no proporciona una evaluación integral de la condición del conductor. Para abordar estos desafíos, proponemos un sistema que opera exclusivamente en el espectro lejano infrarrojo, lo que permite la detección de características críticas como bostezos, caída de la cabeza y estimación de la posición de la cabeza independientemente del escenario de iluminación. Integra un módulo de fusión de canales para evaluar el estado del conductor de manera más precisa y está respaldado por nuestros conjuntos de datos personalizados y anotados, junto con una red neuronal profunda modificada diseñada para la detección de rasgos faciales en el espectro térmico. Además, introducimos dos módulos de fusión para sintetizar eventos de detección en una evaluación coherente del estado del conductor: uno basado en una máquina de estados simple y otro que combina un codificador de modalidad con un gran modelo de lenguaje. Este último enfoque permite la generación de respuestas a consultas más allá del entrenamiento explícito del sistema. Las evaluaciones experimentales demuestran la alta precisión del sistema en la detección y respuesta a signos de fatiga y distracción del conductor.