importlib 模块的作用
模块，是一个一个单独的py文件 包，里面包含多个模块（py文件）
动态导入模块，这样就不用写那么多的import代码， 典型的例子： 自动同步服务，每个网站都有一个py文件。主进程里收到同步任务，根据名称来动态导入对应的py文件，这样就不用写那么多的import代码。（有点类似java的工厂方法）
但是，importlib并不能解决我在线修改py源码，再不重启进程的情况下，使修改生效。 这种情况，可以使用reload()
reload方法
为防止两个模块互相导入的问题，Python默认所有的模块都只导入一次，如果需要重新导入模块， Python2.7可以直接用reload()，Python3可以用下面几种方法：
方法一：基本方法 from imp import reload reload(module)
方法二：按照套路，可以这样 import imp imp.reload(module)
方法三：看看imp.py，有发现，所以还可以这样 import importlib importlib.reload(module)
方法四：根据天理，当然也可以这样 from importlib import reload reload(module)
在多进程的 程序中，一个进程的reload是无法影响另一个进程的
例子：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
# 在主进程中启动多进程
def begin():
""" 启动多进程 """
plist = []
for i in xrange(Num_process):
p = Process(target=pre_run)
p.start()
plist.append(p)
# 此进程监听redis消息，收到消息，即执行reload方法
p = Process(target=reload_spider)
p.start()
plist.append(p)
for p in plist:
p.join()
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
# 监听redis，执行reload方法
def reload_spider():
""" 监听文件变化，自动reload """
rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
while True:
try:
key = 'reload-spider'
value = rconn.get(key)
print value
if value == '1':
crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
reload(crawler_module)
crawlerClass = getattr(crawler_module, 'temp'.upper())
print 'reload_spider 中的class： %s' % (crawlerClass.name)
# rconn.delete(key)
except Exception, e:
pass
time.sleep(3)
|
另一个进程打印py文件里面一个变量
|
1
2
|
crawler = get_crawler_from_factory(mq_service, message)
print crawler.name
|
结果发现，一个进程中进行了reload，并不能改变另外一个进程中的变量。那么在同一个进程中呢...
同一进程中，多线程，任一线程进行了reload操作，其他线程均受影响
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
def pre_run():
t = threading.Thread(target=reload_spider, name='LoopThread')
t.start()
# t.join()
""" 在每个进程里面再使用多线程 """
pool = ThreadPool(Num_Thread)
# 初始化mq通道
mq_service = RabbitMqService()
def callback(ch, method, properties, body):
# 消息确认
mq_service.input_channel.basic_ack(delivery_tag=method.delivery_tag)
# 获取当前线程的名字
current_process_name = multiprocessing.current_process().name
logger.debug('当前进程名称：%s - pid: %s' % (current_process_name, os.getpid()))
logger.debug('进程 %s，收到消息： %s' % (current_process_name, body))
# 收到任务消息，丢给线程池处理
pool.apply_async(run, (properties, body, mq_service))
# 开始监听入口通道
mq_service.receive(callback)
|
reload_spider中监听redi中的消息，如果有reload标识，进行reload操作
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
def reload_spider():
""" 监听文件变化，自动reload """
rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
while True:
try:
key = 'reload-spider'
value = rconn.get(key)
print value
if value == '1':
crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
reload(crawler_module)
crawlerClass = getattr(crawler_module, 'temp'.upper())
print 'reload_spider 中的class： %s' % (crawlerClass.name)
# rconn.delete(key)
except Exception, e:
pass
time.sleep(3)
|
经测试，其他线程中的引入的变量，也改变了。
当然，消息监听最好使用mq或者是redis阻塞队列
以上这篇Python重新加载模块的实现方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/m0_37607365/article/details/79889906