Una mano protésica es una de las principales formas de ayudar a los pacientes con discapacidades en las extremidades superiores a recuperar sus habilidades de la vida diaria. La manipulación de la mano protésica debe estar coordinada con la intención de acción del usuario. Por lo tanto, la clave para el control de la mano protésica es reconocer la intención de acción de la extremidad superior. En la actualidad, todavía existen problemas como la dificultad para decodificar la información y una baja tasa de reconocimiento de la identificación de la intención de acción con señales EMG y señales EEG. Mientras que los sensores inerciales tienen ventajas como el bajo costo y la alta precisión y la información de la postura puede caracterizar el estado de movimiento de la extremidad superior, la información visual tiene ventajas como la alta información y la capacidad de detectar el tipo de objetos objetivo, que pueden fusionarse complementariamente con los sensores inerciales para comprender mejor los requisitos del movimiento humano. Por lo tanto, este documento propone un método de reconocimiento de la intención de acción de la extremidad superior basado en la fusión de información de postura e información visual. El sensor inercial se utiliza para recopilar datos de ángulo de actitud durante el movimiento de la extremidad superior, y de acuerdo con la similitud de la estructura de la extremidad superior humana con el mecanismo de enlace, se establece un modelo de la extremidad superior del cuerpo humano utilizando la teoría cinemática positiva de un brazo mecánico para resolver las posiciones finales de la extremidad superior. Las posiciones finales de la extremidad superior se clasificaron en tres categorías: frente al torso, cerca del cuerpo superior y la posición inicial, y se entrenó un modelo de perceptrón multicapa para aprender las relaciones de clasificación. Además, se instaló una cámara en miniatura en la mano para obtener información visual de la imagen durante el movimiento de la extremidad superior. Los objetos objetivo se detectan utilizando el método de aprendizaje profundo YOLOv5, y luego, los objetos objetivo se clasifican en dos categorías: artículos para llevar puestos y artículos no para llevar puestos. Finalmente, la intención de la extremidad superior se decide conjuntamente por el estado de movimiento de la extremidad superior, el tipo de objeto objetivo y la posición final de la extremidad superior para lograr el control de la mano protésica. Aplicamos el método de reconocimiento de la intención de la extremidad superior al sistema experimental de una mano protésica mecánica e invitamos a varios voluntarios a probarlo. Los resultados experimentales mostraron que la tasa de éxito de reconocimiento de la intención alcanzó el 92.4%, lo que verifica la viabilidad y practicidad del método de reconocimiento de la intención de acción de la extremidad superior basado en la fusión de información de postura e información visual.