Recientemente, las redes basadas en puntos han comenzado a prevalecer porque retienen más información geométrica original de las nubes de puntos que otros métodos basados en aprendizaje profundo. Sin embargo, observamos que: (1) el diseño de abstracción de conjuntos para la agregación local en redes basadas en puntos ignora que los puntos en una región local pueden pertenecer a diferentes categorías semánticas, y (2) la mayoría de los trabajos se centran en características locales de una sola escala mientras ignoran la importancia de las características globales de múltiples escalas. Para abordar los problemas mencionados, proponemos dos estrategias novedosas llamadas agregación local basada en semántica (SLA) y pirámide global de múltiples escalas (MGP). La idea clave de SLA es aumentar las características locales en función de la similitud semántica de los puntos vecinos en la región local. Además, proponemos un módulo de agregación global jerárquica (HGA) para extender la agregación de características locales a la agregación de características globales. Basado en HGA, introducimos MGP para obtener características globales discriminativas de múltiples escalas a partir de escenas de nubes de puntos de múltiples resoluciones. Experimentos extensivos en dos benchmarks prevalentes, S3DIS y Semantic3D, demuestran la efectividad de nuestro método.