La ira afecta el control y las habilidades de evaluación de riesgos de un conductor, aumentando los riesgos de accidentes de tráfico. La construcción de un conjunto de datos multimodal durante las tareas de conducción es crucial para el reconocimiento preciso de la ira. Este estudio desarrolló un conjunto de datos fisiológicos y de conducción de vehículos multimodal (DPV-MFD) basado en la ira autoinformada de los conductores durante tareas de conducción simuladas. En el Experimento 1, se recopilaron las respuestas de 624 participantes a videos inductores de ira y escenarios de conducción a través de cuestionarios para seleccionar materiales apropiados. En los Experimentos 2 y 3, se recopilaron datos dinámicos multimodales y calificaciones de emoción SAM autoinformadas durante tareas simuladas y reales de conducción, capturando respuestas fisiológicas y del vehículo en estados neutrales e iracundos. El análisis del coeficiente de correlación de Spearman validó la efectividad del DPV-MFD y exploró las relaciones entre los datos multimodales y las dimensiones emocionales. Se utilizó una red de aprendizaje profundo CNN-LSTM para evaluar el rendimiento de reconocimiento de emociones del DPV-MFD en diferentes ventanas de tiempo, y se validó su aplicabilidad en escenarios de conducción del mundo real. En comparación con el uso de datos de EEG solamente, la integración de datos multimodales mejoró significativamente la precisión de reconocimiento de la ira, con una precisión y puntuaciones F1 aumentando en un 4,49% y 9,14%, respectivamente. Además, los datos de vehículos reales coincidieron estrechamente con los datos simulados, confirmando la efectividad del conjunto de datos para aplicaciones del mundo real. Esta investigación es fundamental para avanzar en la interacción humano-máquina consciente de las emociones y en los sistemas de transporte inteligentes.