El desafío en la interacción humano-robot es construir un agente que pueda actuar sobre declaraciones implícitas humanas, donde se instruye al agente a ejecutar tareas sin pronunciamientos explícitos. La comprensión en tales escenarios requiere que el agente tenga la capacidad de procesar la fundamentación de objetos y el aprendizaje de affordances a partir del conocimiento adquirido. La affordance ha sido la fuerza motriz para que los agentes construyan relaciones entre objetos, sus efectos y acciones, mientras que la fundamentación es efectiva en la comprensión de mapas espaciales de objetos presentes en el entorno. La principal contribución de este artículo es proponer una metodología para la extensión de la affordance y la fundamentación de objetos, el ciclo cognitivo basado en Bloom y la formulación de semántica perceptual para la interacción humano-robot basada en el contexto. En este estudio, implementamos YOLOv3 para formular la percepción visual y LSTM para identificar el nivel del ciclo cognitivo, ya que los procesos cognitivos se sincronizan en el ciclo cognitivo. Además, utilizamos redes semánticas y grafos conceptuales como un método para representar el conocimiento en diversas dimensiones relacionadas con el ciclo cognitivo. La percepción visual mostró una precisión promedio de 0.78, una recuperación promedio de 0.87 y una puntuación F1 promedio de 0.80, lo que indica una mejora en la generación de redes semánticas y grafos conceptuales. El índice de similitud utilizado para la asociación lingüística y visual mostró resultados prometedores y mejora la experiencia general de la interacción humano-robot.