La interacción humano-robot (HRI) depende de sistemas de percepción robustos que permiten una interacción intuitiva y fluida entre humanos y robots. Este trabajo presenta un marco de percepción de múltiples vistas diseñado para HRI, que incorpora detección y seguimiento de objetos, estimación de la pose del cuerpo humano y de la mano, estimación unificada de la pose mano-objeto y reconocimiento de acciones. Utilizamos la arquitectura de detección de objetos de última generación para comprender la escena para la detección y segmentación de objetos, asegurando alta precisión y rendimiento en tiempo real. En entornos de interacción, la estimación de la pose corporal completa en 3D es necesaria, e integramos un trabajo existente con alta velocidad de inferencia. Proponemos una nueva arquitectura para la estimación y seguimiento unificado de la pose mano-objeto en 3D, capturando relaciones espaciales en tiempo real entre manos y objetos. Además, incorporamos el reconocimiento de acciones aprovechando la pose corporal completa, la estimación unificada de la pose mano-objeto y el seguimiento de objetos para determinar el estado de interacción de entrega. La arquitectura propuesta se evalúa en conjuntos de datos de código abierto a gran escala, demostrando una precisión competitiva y tiempos de inferencia más rápidos, lo que la hace adecuada para aplicaciones de HRI en tiempo real.