La detección precisa de cajas delimitadoras 3D a partir de datos de nube de puntos desempeña un papel esencial en la conducción autónoma. Sin embargo, mejorar el rendimiento requiere modelos más complejos, que conllevan un alto costo de memoria y computacional. En este trabajo, diseñamos una Red Auxiliar Guiada por Segmentación (SGAN) para mejorar la calidad de localización de la detección. Los puntos de diferentes niveles se concatenan para generar la característica multi-escala para los puntos utilizados para la predicción, es decir, los puntos candidatos. SGAN se optimiza conjuntamente mediante dos tareas de segmentación de puntos candidatos y estimación de centro, y solo se utiliza en entrenamiento, por lo tanto, no introduce una computación adicional en la etapa de inferencia. Además, consideramos que los detectores basados en puntos sufren de los puntos de contorno de muestreo, por lo que exploramos la correlación entre los datos y proponemos la Atención Externa de Nube de Puntos (PCEA) para extraer las características semánticas con un bajo costo de memoria. Nuestro método SGSSD logra un gran margen contra la línea base en los conjuntos de datos de KITTI y Waymo, y se ejecuta a 25 FPS para inferencia en el conjunto de pruebas de KITTI con una sola NVIDIA RTX 3090.