La precisión del reconocimiento de gestos basado en el sensor de unidad de medida de inercia (IMU) portátil puede verse significativamente afectada por cambios no deseados en el marco fijo al cuerpo y en el marco fijo al sensor de acuerdo con el cambio en el sujeto y la colocación del sensor. En este estudio, propusimos un nuevo método de reconocimiento de gestos de guía manual basado en sensor IMU portátil robusto a cambios significativos en la alineación corporal del sujeto basado en el método de marco fijo flotante y la memoria de largo y corto plazo bidireccional (bi-LSTM). A través de estudios experimentales comparativos con otros dos métodos, se confirmó que alinear el marco fijo al sensor con el marco de referencia del cuerpo humano y actualizar el marco de referencia de acuerdo con el cambio en la dirección de la cabeza del sujeto ayudó a mejorar el rendimiento de generalización del modelo de reconocimiento de gestos. Como resultado, el método propuesto de marco fijo flotante mostró una precisión de prueba del 91.7%, confirmando que era apropiado para el reconocimiento de gestos bajo cambios significativos en la alineación corporal del sujeto durante los gestos.