El reconocimiento de la actividad humana es una de las áreas de investigación más desafiantes y activas en el dominio de la visión por computadora. Sin embargo, diseñar sistemas automáticos que sean robustos ante la variabilidad significativa debido a combinaciones de objetos y la alta complejidad de los movimientos humanos es aún más desafiante. En este documento, proponemos modelar la evolución rígida entre fotogramas de partes del esqueleto como la trayectoria en el grupo de Lie. El movimiento del objeto se modela de manera similar como una trayectoria adicional en el mismo conjunto. La clasificación se realiza en base a una comparación invariante a la tasa de las trayectorias resultantes mapeadas a un espacio vectorial, el álgebra de Lie. Los resultados experimentales en tres conjuntos de datos de acciones y actividades muestran que el método propuesto supera a varios enfoques de reconocimiento de actividad humana de última generación.