A medida que la automatización industrial evoluciona hacia soluciones centradas en el ser humano y adaptables, los robots colaborativos deben superar desafíos en entornos no estructurados y dinámicos. Este documento amplía nuestro trabajo previo sobre el desarrollo de una sombra digital para robots industriales al introducir un marco integral que cierra la brecha entre los sistemas físicos y sus contrapartes virtuales. El marco propuesto avanza hacia un gemelo digital completamente funcional al integrar capacidades de percepción en tiempo real e interacción intuitiva entre humanos y robots. El marco se aplica a un escenario de laboratorio de pruebas en un hospital, donde un robot YuMi automatiza la clasificación de portaobjetos de microscopio. El sistema incorpora una cámara de profundidad RealSense D435i para la percepción del entorno, Isaac Sim para la sincronización del entorno virtual y un modelo de lenguaje grande (Mistral 7B) alojado localmente para interpretar comandos de voz del usuario. Estos componentes trabajan juntos para lograr una sincronización bidireccional entre los entornos físico y digital. El marco fue evaluado a través de 20 pruebas bajo diversas condiciones. Un estudio de validación midió el rendimiento del módulo de percepción, la simulación y la interfaz de lenguaje, con una tasa de éxito general del 60%. Además, la precisión de sincronización entre los movimientos de las articulaciones del robot simulado y físico alcanzó el 98.11%, demostrando una fuerte alineación entre los sistemas digital y físico. Al combinar el procesamiento local de LLM, visión en tiempo real y simulación de robots, el enfoque permite a usuarios no entrenados interactuar con robots colaborativos en entornos dinámicos. Los resultados destacan su potencial para mejorar la flexibilidad y la usabilidad en la automatización industrial.