Este estudio propone un marco de telemanipulación con dos sensores IMU portátiles sin cinemática esquelética humana. Primero, los estados (intensidad y dirección) de los gestos espaciales de guía manual se estiman por separado a través del estimador de estado propuesto, y los estados también se combinan con el modo del gesto (lineal, angular y a través) obtenido con el clasificador de modo basado en LSTM bidireccional. La pose espacial del efecto final del manipulador de 6 grados de libertad (EEF) puede ser controlada combinando los movimientos lineales y angulares espaciales basados en la integración del modo y estado del gesto. Para validar la importancia del método propuesto, se llevó a cabo la teleoperación del EEF a las poses objetivo designadas en el espacio de captura de movimiento. Como resultado, se confirmó que el modo podía clasificarse con un 84.5% de precisión en tiempo real, incluso durante el movimiento dinámico del operador; la dirección podía estimarse con un error de menos de 1 grado; y la intensidad podía estimarse con éxito con el estimador de velocidad del gesto y ajustarse finamente con el factor de escala. Finalmente, se confirmó que un sujeto podía colocar el EEF dentro del rango promedio de 83 mm y 2.56 grados en la pose objetivo con menos de diez gestos de guía manual consecutivos e inspección visual en el primer intento.