Con la creciente demanda de producción personalizada y flexible, la tecnología de colaboración humano-robot recibe una atención cada vez mayor. Sin embargo, permitir que los robots perciban y se alineen con las intenciones de movimiento humano de manera precisa sigue siendo un desafío significativo. Para abordar esto, se propone un nuevo marco de control colaborativo humano-robot, que utiliza señales de electromiografía (EMG) como interfaz de interacción e integra la imitación de habilidades humanas con el aprendizaje por refuerzo. Específicamente, para gestionar la variación dinámica en los patrones de coordinación muscular inducidos por cambios en el ángulo de las articulaciones, se desarrolla una red neuronal gráfica temporal mejorada con un mecanismo de Atención Guiada por Ángulo. Este método modela de manera adaptativa las relaciones topológicas entre grupos musculares, lo que permite una estimación de fuerza dinámica del brazo en tres dimensiones de alta precisión. Además, se introduce una función de recompensa experta y un mecanismo de repetición de experiencias difusas en el modelo de aprendizaje por refuerzo para guiar el proceso de aprendizaje de habilidades humanas, mejorando así la comodidad y suavidad colaborativas. El enfoque propuesto se valida a través de una tarea de ensamblaje colaborativo. Los resultados experimentales muestran que el modelo de estimación de fuerza del brazo propuesto reduce los errores de estimación en un 10.38%, 8.33% y 11.20% en tres direcciones espaciales en comparación con un modelo convencional de Memoria a Largo Plazo de Profundidad (Deep-LSTM). Además, supera significativamente a los métodos de vanguardia, incluyendo el aprendizaje por imitación tradicional y el control de admisión adaptativa, en términos de comodidad colaborativa, suavidad y precisión en el ensamblaje.