En la detección tridimensional de manzanas, el desafío de la dirección para la recolección del tallo de la manzana para la robótica agrícola aún no se ha resuelto. Abordar el problema de determinar la dirección del tallo de las manzanas es esencial para los procesos de recolección empleados por los robots automatizados. Esta investigación propone un marco de detección tridimensional de manzanas para identificar la dirección del tallo. Primero, construimos un conjunto de datos para la detección tridimensional de manzanas que considera la rotación en 3 ejes de las manzanas basada en la dirección del tallo. En segundo lugar, diseñamos un algoritmo de detección tridimensional que no solo reconoce las dimensiones y la ubicación de las manzanas, como lo hacen los métodos existentes, sino que también predice su rotación en 3 ejes. Además, fusionamos de manera efectiva nubes de puntos en 3D con imágenes en 2D para aprovechar los datos geométricos de las nubes de puntos y la información semántica de las imágenes, mejorando el rendimiento de la detección de manzanas. Los resultados experimentales indicaron que nuestro método logró un AP@0.25 del 89,56% para la detección en 3D al considerar la rotación de la manzana, superando a los métodos existentes. Además, validamos experimentalmente que la función de pérdida propuesta estimó de manera más efectiva la rotación entre los diversos enfoques que exploramos. Este estudio muestra la efectividad de la detección tridimensional de manzanas con consideración de la rotación, enfatizando su potencial para la aplicación práctica en sistemas robóticos autónomos.