使用joblib.Parallel并行处理数据是出现TypeError : can’t pickle instancementhod objects 错误
首先是一段函数调用的实现:
import joblib
import numpy as np
def load_data(K, T):
return K+T
jobs = 8
Ts = np.repeat(np.array([1]), jobs, axis=0)
Ks = np.repeat(np.array([1]), jobs, axis=0)
with joblib.Parallel(n_jobs=jobs) as parallel:
outpout = parallel(joblib.delayed(load_data)(k, s)
for k, s in zip(Ks, Ts))
print(output)
这段代码是没有问题的输出 [5, 5, 5, 5, 5, 5, 5, 5]
但是如果在类中进行处理,如下所示:
import joblib
import numpy as np
class testParallel:
def load_data(self, K, T):
return K+T
del run(self):
jobs = 8
Ts = np.repeat(np.array([1]), jobs, axis=0)
Ks = np.repeat(np.array([1]), jobs, axis=0)
with joblib.Parallel(n_jobs=jobs) as parallel:
outpout = parallel(joblib.delayed(load_data)(k, s)
for k, s in zip(Ks, Ts))
这样就会出现:TypeError : can’t pickle instancementhod objects错误。这种bug出现的方式是自己找出来的,最后在一篇博客中看到,第一种方法为解决使用joblib和Multiprocessing基于pickling实现并行处理的方法,并且解释了其出现的原因。
为了pickle一个object,object必须是一个全局的变量,这才才可以使unpickle通过(PS:pickle存取结构化的数据)。如果在类中,输出的参数为以下类型:
[('self', 0), ('self', 1), ('self', 2), ('self', 3), ('self', 4), ('self', 5), ('self', 6), ('self', 7), ('self', 8), ('self', 9)]
因此需要在类外对函数进行定义。