Asegurar la seguridad al conducir depende en gran medida del comportamiento normal al volante, por lo que la detección oportuna de patrones de conducción peligrosos es crucial. En este documento, se propone una Red de Atención ResNet en forma de Reloj de Arena (HAR-Net) para detectar comportamientos de conducción peligrosos. De manera única, introducimos datos de flujo óptico, datos RGB y datos RGBD por separado en la red para una fusión espacio-temporal. En la parte de fusión espacial, combinamos ResNet-50 y la red en forma de reloj de arena como la columna vertebral de CenterNet. Para mejorar la precisión, agregamos el mecanismo de atención a la red e integramos la pérdida de centro en la pérdida original de Softmax. Además, se construye un conjunto de datos de comportamientos de conducción peligrosos para evaluar el modelo propuesto. A través de estudios de ablación y comparativos, demostramos la eficacia de cada componente de HAR-Net. Especialmente, HAR-Net logra una precisión promedio de 98.84% en nuestro conjunto de datos, superando a otras redes de última generación para detectar comportamientos de conducción distraída.