为什么这个多处理代码比串行码慢？ [英] Why this multiprocessing code is slower than the serial one?

问题描述

我在集群计算设施上尝试了以下Python程序，既有顺序版本，也有并行版本。我可以清楚地看到(使用top命令)为并行程序启动的更多进程。但当我给它计时时，似乎并行版本花了更多的时间。可能的原因是什么？随函附上代码和计时信息。

#parallel.py
from multiprocessing import Pool
import numpy
def sqrt(x):
 return numpy.sqrt(x)
pool = Pool()
results = pool.map(sqrt, range(100000), chunksize=10)

---

#seq.py
import numpy
def sqrt(x):
 return numpy.sqrt(x)
results = [sqrt(x) for x in range(100000)]

---

user@domain$ time python parallel.py > parallel.txt
real    0m1.323s
user    0m2.238s
sys     0m0.243s

user@domain$ time python seq.py > seq.txt
real    0m0.348s
user    0m0.324s
sys     0m0.024s

推荐答案

到目前为止，每个任务的工作量太少，无法补偿工作分配开销。首先，您应该增加chunksize，但是单个平方根操作仍然太短，不足以补偿在进程之间传输数据的成本。您可以看到如下所示的有效加速：

def sqrt(x):
  for _ in range(100):
    x = numpy.sqrt(x)
  return x
results = pool.map(sqrt, range(10000), chunksize=100)

这篇关于为什么这个多处理代码比串行码慢？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！