El aprendizaje distribuido ha recibido una atención creciente en los últimos años y es una necesidad especial para la era de los grandes datos. Para una máquina de vectores de soporte (SVM), una potente herramienta de clasificación binaria, propusimos un novedoso y eficiente algoritmo de aprendizaje distribuido disperso, la máquina de vectores de soporte de verosimilitud sustituta eficiente en comunicación (CSLSVM), en altas dimensiones con penalizaciones convexas o no convexas, basado en un marco de verosimilitud sustituta eficiente en comunicación (CSL). Extendimos el CSL para SVMs distribuidas sin la necesidad de suavizar la pérdida de bisagra o el gradiente de la pérdida. Para un CSLSVM con penalización de lasso, demostramos que su estimador podría alcanzar una propiedad casi-oráculo para estimadores SVM penalizados en conjuntos de datos completos. Para un CSLSVM con penalización de desviación absoluta suavemente recortada, mostramos que su estimador disfrutaba de la propiedad oráculo, y que utilizaba la aproximación lineal local (LLA) para resolver el problema de optimización. Además, demostramos que la LLA estaba garantizada para converger al estimador oráculo, incluso en nuestro marco distribuido y en el entorno de ultraaltas dimensiones, si un estimador inicial apropiado estaba disponible. El enfoque propuesto es altamente competitivo con el método centralizado en unas pocas rondas de comunicación. Experimentos numéricos proporcionaron evidencia de apoyo.