Las imágenes médicas de tumores cerebrales son fundamentales para caracterizar la patología de los tumores y para un diagnóstico temprano. Existen múltiples modalidades para las imágenes médicas de tumores cerebrales. Fusionar las características únicas de cada modalidad de las exploraciones de resonancia magnética (RM) puede determinar con precisión la naturaleza de los tumores cerebrales. El enfoque actual de análisis genético es lento y requiere la extracción quirúrgica de muestras de tejido cerebral. La clasificación precisa de imágenes de tumores cerebrales multimodales puede acelerar el proceso de detección y aliviar el sufrimiento del paciente. La fusión de imágenes médicas se refiere a la combinación efectiva de la información significativa de múltiples imágenes fuente del mismo tejido en una sola imagen, que llevará abundante información para el diagnóstico. Este artículo propone un nuevo modelo de clasificación basado en aprendizaje profundo atento que integra la agregación de características multimodales, un mecanismo de atención ligero, incrustaciones separables y atajos por modalidad para mejorar el rendimiento. Evaluamos nuestro modelo en el conjunto de datos RSNA-MICCAI, un conjunto de datos de imágenes médicas específico para escenarios, y demostramos que el método propuesto supera al estado del arte (SOTA) en aproximadamente un 3%.