跳转至

使用 joblib 实现并行计算

使用 joblib 实现简单的并行计算。

并行运行函数耗时

这篇帖子介绍了使用 Python Multiprocessing 多进程并行计算。本文使用 joblib 实现简单的并行计算。

查看 CPU 数量

  • 使用 multiprocessing：
Python
import multiprocessing

multiprocessing.cpu_count()
  • 使用 joblib：
Python
import joblib

joblib.cpu_count()

串行运行函数

Python
def single(a):
    """定义一个简单的函数"""
    time.sleep(1)  # 休眠 1s
    print(a)  # 打印出 a

直接使用for 循环运行函数 10 次，需要花 10 秒：

Python
import time

start = time.time()  # 记录开始的时间
for i in range(10):  # 执行 10 次 single() 函数
    single(i)
Time = time.time() - start  # 计算执行的时间
print("一共耗时" + str(Time) + "s")

并行运行函数

Python
from joblib import Parallel, delayed

start = time.time()  # 记录开始的时间
Parallel(n_jobs=5)(delayed(single)(i * 3) for i in range(10))  # 并行化处理
Time = time.time() - start  # 计算执行的时间
print("一共耗时" + str(Time) + "s")

并行运行函数耗时

  • 一共耗时 2.76 秒。这是由于同时运行 5 次函数，总共运行 10 次，一共花了 2 轮时间。
  • 并且，函数的打印结果也是每 5 个同时打印出来的。
  • 当n_jobs的值为 1 时，即相当于for循环的顺序执行，结果仍然会是 10 秒。
  • 当n_jobs的值为 -1 时，会使用所有的 CPU。
  • 当n_jobs的值为其它负值时，会使用所有的 CPU 数量减去n_jobs。例如一共有 8 个 CPU，则n_jobs=-2意味着使用 8-2=6 个 CPU。
  • 当n_jobs=-1时，使用所有的 CPU 执行并行计算。
  • 当n_jobs=1时，就不会使用并行代码，即等同于顺序执行，可以在 debug 情况下使用。
  • 当n_jobs<-1时，将会使用n_cpus + 1 + n_jobs个 CPU，例如n_jobs=-2时，将会使用n_cpus-1个 CPU 核，其中n_cpus为 CPU 核的数量。
  • 当n_jobs=None的情况等同于n_jobs=1。

评论