La predicción de trayectorias multi-agente, precisa y eficiente, sigue siendo un desafío central para la conducción autónoma, particularmente en la modelación de interacciones complejas mientras se mantiene la plausibilidad física y la eficiencia computacional. Muchos métodos existentes, especialmente aquellos basados en grandes arquitecturas de transformadores, tienden a pasar por alto las restricciones físicas, lo que lleva a predicciones poco realistas y altos costos de implementación. En este trabajo, proponemos un marco de predicción de trayectorias ligero que integra información física para mejorar la modelación de interacciones y el rendimiento en tiempo de ejecución. Nuestro método introduce dos estrategias inspiradas en la física: (1) se utiliza un mecanismo guiado por restricciones para filtrar vecinos irrelevantes o distractores, y (2) se aplica un módulo de atención consciente de la física para dirigir los pesos de atención hacia interacciones físicamente plausibles. La arquitectura general adopta un diseño modular y vectorizado, reduciendo efectivamente la complejidad del modelo y la latencia de inferencia. Los experimentos en el conjunto de datos Argoverse V1, comparando con múltiples métodos existentes, demuestran que nuestro enfoque logra un equilibrio favorable entre precisión, viabilidad física y eficiencia, funcionando en tiempo real en una GPU de escritorio convencional. El trabajo futuro se centrará en validar su rendimiento en hardware embebido.