En una clase de optimización distribuida a gran escala, el cálculo de RELM basado en la matriz inversa de Moore-Penrose es prohibitivamente costoso, lo que dificulta la formulación de un modelo de optimización computacionalmente eficiente. En un intento de mejorar el rendimiento de convergencia del modelo, este artículo propone un Método de los Multiplicadores de Direcciones Alternas (ADMM) de bajo costo computacional, donde la actualización original en ADMM se resuelve de forma inexacta con información de curvatura aproximada. Basándose en técnicas de quasi-Newton, el enfoque ADMM nos permite resolver la optimización convexa con precisión razonable y esfuerzo computacional. Al introducir este algoritmo en el modelo RELM, el problema de ajuste del modelo puede descomponerse en un conjunto de subproblemas que pueden ejecutarse en paralelo para lograr un rendimiento de clasificación eficiente. Para evitar el almacenamiento de la costosa Hessiana para problemas grandes, se propone BFGS con memoria limitada con eficiencia computacional. Y los valores óptimos de los parámetros del método de búsqueda del tamaño de paso se obtienen a través de la estrategia de búsqueda de línea de Wolfe. Para demostrar la superioridad de nuestros métodos, se realizan experimentos numéricos en ocho conjuntos de datos del mundo real. Los resultados en problemas surgidos en el aprendizaje automático sugieren que el método propuesto es competitivo con otros métodos similares, tanto en términos de mejor eficiencia computacional como de precisión.