Hoy en día, el uso del transporte público está disminuyendo y las personas prefieren utilizar transporte privado debido a su bajo costo, viaje cómodo y preferencias personales. Sin embargo, el transporte personal causa numerosos accidentes de tráfico en el mundo real debido a las condiciones del estado de los conductores, como somnolencia, estrés, cansancio y edad durante la conducción. En tales casos, la detección de fatiga del conductor es obligatoria para evitar accidentes de tráfico y garantizar un viaje cómodo. Hasta la fecha, se han propuesto varios sistemas complejos que tienen problemas debido a la práctica de herramientas de ingeniería de características manuales, lo que provoca un rendimiento más bajo y una alta computación. Para abordar estos problemas, proponemos un sistema eficiente de detección de fatiga e edad inteligente asistido por aprendizaje profundo (FADS) para detectar e identificar diferentes estados del conductor. Para este propósito, investigamos varios métodos basados en computación neuronal y seleccionamos el modelo más apropiado considerando su viabilidad en dispositivos de borde para vigilancia inteligente. A continuación, desarrollamos un sistema basado en una red neuronal convolucional personalizada que es eficiente para la detección de somnolencia, donde la información de somnolencia se fusiona con la información de edad para alcanzar la salida deseada. Los experimentos realizados en los conjuntos de datos personalizados y públicamente disponibles confirman la superioridad del sistema propuesto sobre las técnicas de vanguardia.