最近在做一个视频设备管理的项目,设备包括(摄像机,DVR,NVR等),包括设备信息补全,设备状态推送,设备流地址推送等,如果同时导入的设备数量较多,如果使用单线程进行设备检测,那么由于设备数量较多,会带来较大的延时,因此考虑多线程处理此问题。
可以使用python语言自己实现线程池,或者可以使用第三方包threadpool线程池包,本主题主要介绍threadpool的使用以及其里面的具体实现。
1、安装
使用安装:
1
|
pip installthreadpool
|
2、使用
(1)引入threadpool模块
(2)定义线程函数
(3)创建线程 池threadpool.ThreadPool()
(4)创建需要线程池处理的任务即threadpool.makeRequests()
(5)将创建的多个任务put到线程池中,threadpool.putRequest
(6)等到所有任务处理完毕theadpool.pool()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
import threadpool
def ThreadFun(arg1,arg2):
pass
def main():
device_list = [object1,object2,object3......,objectn] #需要处理的设备个数
task_pool = threadpool.ThreadPool( 8 ) #8是线程池中线程的个数
request_list = [] #存放任务列表
#首先构造任务列表
for device in device_list:
request_list.append(threadpool.makeRequests(ThreadFun,[((device, ), {})]))
#将每个任务放到线程池中,等待线程池中线程各自读取任务,然后进行处理,使用了map函数,不了解的可以去了解一下。
map (task_pool.putRequest,request_list)
#等待所有任务处理完成,则返回,如果没有处理完,则一直阻塞
task_pool.poll()
if __name__ = = "__main__" :
main()
|
上面就是一个具体的线程池的使用流程
threadpool具体的定义如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
class ThreadPool:
"""A thread pool, distributing work requests and collecting results.
See the module docstring for more information.
"""
def __init__( self , num_workers, q_size = 0 , resq_size = 0 , poll_timeout = 5 ):
pass
def createWorkers( self , num_workers, poll_timeout = 5 ):
pass
def dismissWorkers( self , num_workers, do_join = False ):
pass
def joinAllDismissedWorkers( self ):
pass
def putRequest( self , request, block = True , timeout = None ):
pass
def poll( self , block = False ):
pass
def wait( self ):
pass
|
下一节会详细介绍上面的整个流程以及每个函数:python 线程池threadpool(实现篇)
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持服务器之家。
原文链接:https://blog.csdn.net/hehe123456ZXC/article/details/52258358