El reconocimiento de actividades humanas a partir de secuencias de video y su transformación en una forma legible por máquina es una tarea desafiante, que es objeto de muchos estudios. El objetivo de este proyecto es desarrollar un método automatizado para analizar, identificar y procesar datos de captura de movimiento en un lenguaje de planificación. Esto se realiza en un escenario de cocina mediante la grabación de la pose de la mano que actúa. Primero, se detectan acciones laterales predefinidas en el conjunto de datos mediante clasificación. Los fotogramas restantes se agrupan en acciones principales. Utilizando esta información, las posiciones iniciales conocidas y el seguimiento de objetos virtuales, se genera un lenguaje de definición de dominio de planificación legible por máquina (PDDL).