La cosecha automatizada de frutas agrupadas se basa en una percepción visual rápida y precisa. Sin embargo, los diámetros de los tallos oscurecidos por la ocultación de las hojas carecen de patrones de textura discernibles. No obstante, nuestro sistema visual humano a menudo puede juzgar la posición de los puntos de cosecha. Inspirado en esto, el objetivo de este artículo es abordar este problema aprovechando la morfología y la distribución de las direcciones de gradiente del contorno de la fruta. En primer lugar, este artículo propone el cálculo de los vectores normales de la fruta utilizando el cálculo de bordes y la distribución de direcciones de gradiente. Los resultados de la investigación demuestran una relación matemática significativa entre el gradiente del borde del contorno y su ángulo de inclinación, pero los experimentos muestran que el error estándar proyectado sobre el eje Y es menor, lo que es evidentemente más propicio para distinguir la distribución del gradiente. En segundo lugar, para la vista frontal de los racimos de lichi ocultos, se propone una red de segmentación de instancias de una sola etapa completamente convolucional, basada en prototipos de características, llamada red de predicción de puntos de recolección de lichi (LPNet). Esta red puede lograr una alta precisión y segmentación de instancias en tiempo real, así como para frutas ocultas y superpuestas. Finalmente, los resultados experimentales muestran que el LPNet basado en este estudio, junto con las características fenotípicas del lichi, logra una precisión de ubicación promedio del 82%, mejorando significativamente la precisión de la localización de puntos de cosecha para los racimos de lichi.