El Aprendizaje por Refuerzo Profundo (DRL) es un marco poderoso para resolver problemas complejos de toma de decisiones secuenciales, particularmente en el control robótico. Sin embargo, su implementación práctica a menudo se ve obstaculizada por la cantidad sustancial de experiencia requerida para el aprendizaje, lo que resulta en altos costos computacionales y de tiempo. En este trabajo, proponemos una integración novedosa de DRL con conocimiento semántico en forma de Embeddings de Grafos de Conocimiento (KGEs), con el objetivo de mejorar la eficiencia del aprendizaje al proporcionar información contextual al agente. Nuestra arquitectura combina KGEs con observaciones visuales, lo que permite al agente aprovechar el conocimiento ambiental durante el entrenamiento. La validación experimental con manipuladores robóticos en entornos con atributos de objetivo fijos y aleatorios demuestra que nuestro método logra hasta un 60% de reducción en el tiempo de aprendizaje y mejora la precisión de la tarea en aproximadamente 15 puntos porcentuales, sin aumentar el tiempo de entrenamiento ni la complejidad computacional. Estos resultados destacan el potencial del conocimiento semántico para reducir la complejidad de muestras y mejorar la efectividad del DRL en aplicaciones robóticas.