Los lenguajes de señas son el principal medio de comunicación visual entre personas con discapacidad auditiva y sus sociedades. Similar a los lenguajes hablados, no son universales y varían de región en región, pero son relativamente poco recursos. El lenguaje de señas árabe (ArSL) es uno de estos idiomas que ha atraído cada vez más atención en la comunidad de investigación. Sin embargo, la mayoría de los trabajos existentes y disponibles sobre sistemas de reconocimiento de lenguaje de señas se centran en gestos manuales, ignorando otra información no manual necesaria para otros señales de lenguaje como expresiones faciales. Uno de los principales desafíos de no considerar estas modalidades es la falta de conjuntos de datos adecuados. En este documento, proponemos un nuevo conjunto de datos ArSL de multimodalidad que integra varios tipos de modalidades. Consta de 6748 muestras de video de cincuenta signos realizados por cuatro signantes y recopilados utilizando sensores Kinect V2. Este conjunto de datos estará disponible de forma gratuita para que los investigadores desarrollen y evalúen sus técnicas para el avance adicional del campo. Además, evaluamos la fusión de características espaciales y temporales de diferentes modalidades, manuales y no manuales, para el reconocimiento de lenguaje de señas utilizando técnicas de aprendizaje profundo de vanguardia. Esta fusión aumentó la precisión del sistema de reconocimiento en el modo independiente del signante en un 3,6% en comparación con los gestos manuales.