La multiplicación de matrices es de singular importancia en operaciones de álgebra lineal con una multitud de aplicaciones en computación científica e ingeniería. Las estructuras de datos para almacenar elementos de matrices están diseñadas para minimizar la información adicional, así como para optimizar el conteo de operaciones. En este estudio, utilizamos el concepto del método de almacenamiento diagonal compacto (CDM), que se basa en el método de almacenamiento diagonal previamente desarrollado, un esquema uniforme independiente de la orientación para almacenar los elementos no nulos de una variedad de matrices. Este estudio explota ambos esquemas de almacenamiento y presenta implementaciones paralelas eficientes aceleradas por GPU de la multiplicación de matrices cuando las matrices de entrada son bandadas y/o dispersas estructuradas. Explotamos los diseños de datos en los esquemas de almacenamiento diagonal para exponer una cantidad sustancial de paralelismo detallado y utilizar de manera efectiva la memoria compartida de la GPU para mejorar la localidad del acceso a los datos para cálculos numéricos. Los resultados de un extenso conjunto de experimentos numéricos con los tipos mencionados de matrices demuestran mejoras de velocidad de varias órdenes de magnitud en comparación con el rendimiento secuencial.