El reconocimiento de emociones fisiológicas multimodales se ve desafiado por la heterogeneidad de las modalidades y la variabilidad entre sujetos, lo que dificulta la generalización y la robustez del modelo. Para abordar estos problemas, este artículo propone un nuevo marco, Transformador Cruzado con Red Adversaria de Aprendizaje-Clasificación Mejorada (CT-ELCAN). La idea principal de CT-ELCAN es cambiar el enfoque de la fusión de señales convencional hacia la alineación de representaciones emocionales invariantes de modalidad y sujeto. Al combinar un Transformador cruzado con ELCAN, un módulo de alineación de características que utiliza entrenamiento adversarial, CT-ELCAN aprende representaciones emocionales invariantes de modalidad y sujeto. Los resultados experimentales en los conjuntos de datos públicos DEAP y WESAD demuestran que CT-ELCAN logra mejoras de precisión de aproximadamente el 7% y el 5%, respectivamente, en comparación con modelos de última generación, al mismo tiempo que exhibe una robustez mejorada.