El documento propone un algoritmo paralelo para resolver sistemas grandes y sobredeterminados de ecuaciones algebraicas lineales con una matriz densa. Este algoritmo se basa en el uso de una modificación del método del gradiente conjugado, que es capaz de tener en cuenta los errores de redondeo acumulados durante los cálculos al tomar una decisión para finalizar el proceso iterativo. El algoritmo paralelo está construido de tal manera que tiene en cuenta las capacidades de la tecnología de programación paralela de la interfaz de paso de mensajes (MPI), que se utiliza para la implementación de software del algoritmo propuesto. Se muestran ejemplos de programación utilizando el lenguaje de programación Python y el paquete, pero todos los programas están construidos de tal manera que pueden ser fácilmente reescritos utilizando los lenguajes de programación C/C++/Fortran. Se demuestra la ventaja de utilizar el estándar moderno MPI-4.0.