Con avances rápidos en la tecnología de gemelos digitales dentro del Internet Industrial de las Cosas, integrar gemelos digitales con brazos robóticos industriales presenta una dirección prometedora. Esta integración promueve la operación remota e inteligencia de los procesos de control industrial. Sin embargo, el control y la gestión de errores de los brazos robóticos en sistemas de gemelos digitales plantean desafíos. En este documento, presentamos un sistema de brazo robótico potenciado por gemelos digitales y proponemos una política de control utilizando aprendizaje profundo por refuerzo, específicamente el enfoque de optimización de política proximal. Se detallan la construcción y funcionalidad de cada subsistema dentro del sistema de control de brazo robótico potenciado por gemelos digitales. Para abordar los errores causados por la estructura mecánica y el mapeo virtual-real en el gemelo digital, se propone un enfoque integrado de optimización de política proximal y PID difuso. Los resultados experimentales demuestran que la optimización de política proximal es adaptable a los errores de mapeo virtual-real, mientras que el método PID difuso corrige errores físicos de manera rápida y precisa. El brazo robótico puede alcanzar el punto objetivo utilizando este enfoque integrado. En general, los problemas de gestión de errores en sistemas digitales han sido abordados de manera efectiva, y nuestro esquema puede proporcionar una estrategia de control precisa y adaptativa para el brazo robótico.