Python: joblib.Parallel method in a class 'TypeError : can't pickle instancementhod objects'

时间:2022-06-27 00:12:12

使用joblib.Parallel并行处理数据是出现TypeError : can’t pickle instancementhod objects 错误

首先是一段函数调用的实现:

import joblib
import numpy as np

def load_data(K, T):
    return K+T

jobs = 8

Ts = np.repeat(np.array([1]),  jobs, axis=0)
Ks = np.repeat(np.array([1]),  jobs, axis=0)

with joblib.Parallel(n_jobs=jobs) as parallel:
    outpout = parallel(joblib.delayed(load_data)(k, s)
                        for k, s in zip(Ks, Ts))
print(output)

这段代码是没有问题的输出 [5, 5, 5, 5, 5, 5, 5, 5]

但是如果在类中进行处理,如下所示:

import joblib
import numpy as np

class testParallel:
    def load_data(self, K, T):
        return K+T

    del run(self):
        jobs = 8

        Ts = np.repeat(np.array([1]),  jobs, axis=0)
        Ks = np.repeat(np.array([1]),  jobs, axis=0)

        with joblib.Parallel(n_jobs=jobs) as parallel:
            outpout = parallel(joblib.delayed(load_data)(k, s)
                                for k, s in zip(Ks, Ts))

这样就会出现:TypeError : can’t pickle instancementhod objects错误。这种bug出现的方式是自己找出来的,最后在一篇博客中看到,第一种方法为解决使用joblib和Multiprocessing基于pickling实现并行处理的方法,并且解释了其出现的原因。

为了pickle一个object,object必须是一个全局的变量,这才才可以使unpickle通过(PS:pickle存取结构化的数据)。如果在类中,输出的参数为以下类型:

[('self', 0), ('self', 1), ('self', 2), ('self', 3), ('self', 4), ('self', 5), ('self', 6), ('self', 7), ('self', 8), ('self', 9)]

因此需要在类外对函数进行定义。