Para realizar análisis de big data, a menudo es necesario realizar regresiones que implican grandes matrices. En particular, se encuentran problemas de regresión a gran escala cuando se desea extraer patrones semánticos para el descubrimiento de conocimiento y la minería de datos. Cuando una gran matriz puede procesarse en su forma factorizada, surgen ventajas en términos de computación, implementación y compresión de datos. En este trabajo, proponemos dos nuevos algoritmos iterativos paralelos como extensiones del algoritmo de Gauss-Seidel (GSA) para resolver problemas de regresión que involucran muchas variables. También se realiza un estudio de convergencia en términos de límites de error de los algoritmos iterativos propuestos, y se evalúan los recursos de computación requeridos, es decir, las complejidades de tiempo y memoria, para comparar la eficiencia de los nuevos algoritmos propuestos. Finalmente, se presentan los resultados numéricos tanto de simulaciones de Monte Carlo como de conjuntos de datos del mundo real para demostrar la efectividad sorprendente de nuestros nuevos métodos propuestos.