El agarre de objetos visuales puede ser complejo al tratar con diferentes formas, puntos de vista y entornos, ya que el manipulador robótico debe estimar el lugar más factible para agarrar. Este trabajo propone un nuevo sistema de agarre selectivo utilizando solo nubes de puntos de objetos. Para la selección del objeto de interés, se propone una red de aprendizaje profundo para la clasificación de objetos, llamada Point Encoder Convolution (PEC). La red se entrena con un conjunto de datos obtenido en un simulador realista y utiliza un autoencoder con convolución 1D. El algoritmo de agarre desarrollado utilizado en el sistema emplea primitivas geométricas y curvaturas laterales para estimar la mejor región para agarrar sin conocer previamente la nube de puntos del objeto. Los resultados experimentales muestran una tasa de éxito del 94% para un conjunto de datos con cinco clases, y el sistema de agarre selectivo visual propuesto puede ejecutarse en alrededor de 0.004 s, adecuado para tareas que requieren un tiempo de ejecución bajo o utilizan hardware de bajo costo.