Python threading Thread多线程的使用方法
目录
Python threading Thread多线程的使用方法
1.使用Threading模块创建线程
2.Thread线程同步
3.使用多线程读取图像并返回数据
1.使用Threading模块创建线程
使用Threading模块创建线程，直接从threading.Thread继承，然后重写__init__方法和run方法：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import threading
import time
exitFlag = 0
class myThread (threading.Thread): #继承父类threading.Thread
def __init__(self, threadID, name, counter):
threading.Thread.__init__(self)
self.threadID = threadID
self.name = name
self.counter = counter
def run(self): #把要执行的代码写到run函数里面 线程在创建后会直接运行run函数
print "Starting " + self.name
print_time(self.name, self.counter, 5)
print "Exiting " + self.name
def print_time(threadName, delay, counter):
while counter:
if exitFlag:
(threading.Thread).exit()
time.sleep(delay)
print "%s: %s" % (threadName, time.ctime(time.time()))
counter -= 1
# 创建新线程
thread1 = myThread(1, "Thread-1", 1)
thread2 = myThread(2, "Thread-2", 2)
# 开启线程
thread1.start()
thread2.start()
print "Exiting Main Thread"
以上程序执行结果如下；
Starting Thread-1
Starting Thread-2
Exiting Main Thread
Thread-1: Thu Mar 21 09:10:03 2013
Thread-1: Thu Mar 21 09:10:04 2013
Thread-2: Thu Mar 21 09:10:04 2013
Thread-1: Thu Mar 21 09:10:05 2013
Thread-1: Thu Mar 21 09:10:06 2013
Thread-2: Thu Mar 21 09:10:06 2013
Thread-1: Thu Mar 21 09:10:07 2013
Exiting Thread-1
Thread-2: Thu Mar 21 09:10:08 2013
Thread-2: Thu Mar 21 09:10:10 2013
Thread-2: Thu Mar 21 09:10:12 2013
Exiting Thread-2
2.Thread线程同步
如果多个线程共同对某个数据修改，则可能出现不可预料的结果，为了保证数据的正确性，需要对多个线程进行同步。使用Thread对象的Lock和Rlock可以实现简单的线程同步，这两个对象都有acquire方法和release方法，对于那些需要每次只允许一个线程操作的数据，可以将其操作放到acquire和release方法之间。
多线程的优势在于可以同时运行多个任务（至少感觉起来是这样）。但是当线程需要共享数据时，可能存在数据不同步的问题。
考虑这样一种情况：一个列表里所有元素都是0，线程"set"从后向前把所有元素改成1，而线程"print"负责从前往后读取列表并打印。
那么，可能线程"set"开始改的时候，线程"print"便来打印列表了，输出就成了一半0一半1，这就是数据的不同步。为了避免这种情况，引入了锁的概念。
锁有两种状态——锁定和未锁定。每当一个线程比如"set"要访问共享数据时，必须先获得锁定；如果已经有别的线程比如"print"获得锁定了，那么就让线程"set"暂停，也就是同步阻塞；等到线程"print"访问完毕，释放锁以后，再让线程"set"继续。
经过这样的处理，打印列表时要么全部输出0，要么全部输出1，不会再出现一半0一半1的尴尬场面。
# -*-coding: utf-8 -*-
"""
@Project: cluster
@File : thread_processing.py
@Author : panjq
@E-mail : pan_jinquan@163.com
@Date : 2019-03-13 13:43:49
"""
# !/usr/bin/python
# -*- coding: UTF-8 -*-
# !/usr/bin/python
# -*- coding: UTF-8 -*-
import threading
import time
class myThread(threading.Thread):
def __init__(self, threadID, name, counter):
threading.Thread.__init__(self)
self.threadID = threadID
self.name = name
self.counter = counter
def run(self):
print("Starting " + self.name)
# 获得锁，成功获得锁定后返回True
# 可选的timeout参数不填时将一直阻塞直到获得锁定
# 否则超时后将返回False
threadLock.acquire()
self.print_time(self.name, self.counter, 3)
# 释放锁
threadLock.release()
def print_time(self,threadName, delay, counter):
while counter:
time.sleep(delay)
print("%s: %s" % (threadName, time.ctime(time.time())))
counter -= 1
threadLock = threading.Lock()
threads = []
# 创建新线程
thread1 = myThread(1, "Thread-1", 1)
thread2 = myThread(2, "Thread-2", 2)
# 开启新线程
thread1.start()
thread2.start()
# 添加线程到线程列表
threads.append(thread1)
threads.append(thread2)
# 等待所有线程完成
for t in threads:
t.join()
print("Exiting Main Thread")
3.使用多线程读取图像并返回数据
下面是使用多线程的方法，实现读取图片的方法，注意这里增加了一个函数get_result，用于返回每个线程处理后的数据
其中file_processing和image_processing是本人包装好的文件处理方法和图像处理方法，具体实现的代码，这里不贴出来了，源码可查看：
# -*-coding: utf-8 -*-
"""
@Project: cluster
@File : thread_operate.py
@Author : panjq
@E-mail : pan_jinquan@163.com
@Date : 2019-03-13 13:43:49
"""
from utils import file_processing,image_processing
import threading
import time
threadLock = threading.Lock()#创建线程锁
class FeatureThread(threading.Thread):
def __init__(self, thread_id, func, args=()):
'''
:param thread_id:
:param func:
:param args:
'''
threading.Thread.__init__(self)
self.thread_id = thread_id
self.func = func
self.args = args
def run(self):
print("Starting thread_id:{} ".format(self.thread_id))
# 获得锁，成功获得锁定后返回True， 可选的timeout参数不填时将一直阻塞直到获得锁定， 否则超时后将返回False
# threadLock.acquire() #线程加锁
self.result = self.func(*self.args)
# threadLock.release()# 释放锁
def get_result(self):
try:
return self.result
except Exception:
return None
def test_fun(images_list):
time.sleep(2)
print(images_list)
images=[]
for filename in images_list:
image = image_processing.read_image(filename, resize_height=224, resize_width=224, normalization=False)
images.append(image)
return images
def split_data_list(data_list, split_nums):
'''
:param data_list: 数据列表
:param split_nums: 将列表分成多少块，注意split_nums块必须小于data_list的长度
:return: 返回data_list分块后的索引
'''
data_size=len(data_list)
if split_nums>data_size:
print("illegal arguments,split_nums must be less than len(data_size)")
exit(0)
batch_index=[]
for i in range(split_nums):
start = int(data_size / split_nums * i)
end = int(data_size / split_nums * (i + 1))
if (i == split_nums - 1) :
end = data_size
batch_index.append((start,end))
return batch_index
def thread_test(images_list, nums_thread=4):
thread_collection = []#创建线程容器
# 创建新线程
batch_index=split_data_list(images_list, split_nums=nums_thread)
print("batch_index:{}".format(batch_index))
for i in range(nums_thread):
start,end=batch_index[i]
batch_image_list=images_list[start:end]
thread = FeatureThread(thread_id=i, func=test_fun, args=(batch_image_list,))
thread.start() # 开启新线程
thread_collection.append(thread)# 添加线程到线程列表
# 等待所有线程完成
for thread in thread_collection:
thread.join()
batch_image=thread.get_result()
image_processing.show_image(title="image",image=batch_image[0])
print("Exiting Main Thread")
if __name__=='__main__':
image_dir="../dataset/test_images"
images_list = file_processing.get_images_list(image_dir, postfix=['*.png', '*.JPG'])
print(images_list)
thread_test(images_list, nums_thread=4)
