El sistema de reconocimiento y localización de frutas basado en visión es la base para la operación automática de robots agrícolas de cosecha. Los modelos de detección existentes suelen estar limitados por una alta complejidad y una velocidad de inferencia lenta, lo que no cumple con los requisitos de tiempo real de los robots de cosecha. Aquí se propone un método para la detección y localización de objetos de manzana para abordar los problemas mencionados anteriormente. Primero, se diseña una red YOLOX mejorada para detectar la región objetivo, con una topología de múltiples ramas en la fase de entrenamiento y una estructura de una sola rama en la fase de inferencia. Se utiliza la capa de agrupamiento piramidal espacial (SPP) con estructura en serie para expandir el campo receptivo de la red base y garantizar una salida fija. En segundo lugar, se utiliza una cámara RGB-D para obtener la imagen de profundidad alineada y calcular el valor de profundidad del punto deseado. Finalmente, las coordenadas tridimensionales de los puntos de recogida de manzanas se obtienen combinando coordenadas bidimensionales en la imagen RGB y el valor de profundidad. Los resultados experimentales muestran que el método propuesto tiene una alta precisión y un rendimiento en tiempo real: F1 es del 93%, la precisión media promedio (mAP) es del 94.09%, la velocidad de detección puede alcanzar 167.43 F/s, y los errores de posicionamiento en las direcciones X, Y y Z son inferiores a 7 mm, 7 mm y 5 mm, respectivamente.