详情点我跳转
关注公众号“轻松学编程”了解更多。
多线程
在介绍Python中的线程之前,先明确一个问题,Python中的多线程是假的多线程!
为什么这么说,我们先明确一个概念,全局解释器锁(GIL)
一、什么是GIL
Python代码的执行由Python虚拟机(解释器)来控制,同时只有一个线程在执行。对Python虚拟机的访问由全局解释器锁(GIL)来控制,正是这个锁能保证同时只有一个线程在运行。
二、为什么要用GIL
为了线程间数据的一致性和状态同步的完整性,(例如:线程2需要线程1执行完成的结果,然而线程2又比线程1执行时间短,线程2执行完成,线程1仍然还在执行,这就是数据的同步性)
三、GIL的影响
只有一个线程在运行,无法使用多核。
-
在多线程环境中,Python虚拟机按照以下方式执行。
1.设置GIL。
2.切换到一个线程去执行。
3.运行。
4.把线程设置为睡眠状态。
5.解锁GIL。
6.再次重复以上步骤。
比方我有一个4核的CPU,那么这样一来,在单位时间内每个核只能跑一个线程,然后时间片轮转切换。
但是Python不一样,它不管你有几个核,单位时间多个核只能跑一个线程,然后时间片轮转。
执行一段时间后让出,多线程在Python中只能交替执行,10核也只能用到1个核
例如: cpu --30%
from threading import Thread
def loop():
while True:
print("亲爱的,我错了,我能吃饭了吗?")
if __name__ == \'__main__\':
for i in range(3):
t = Thread(target=loop)
t.start()
while True:
pass
而如果我们变成进程呢?cpu --100%
from multiprocessing import Process
def loop():
while True:
print("亲爱的,我错了,我能吃饭了吗?")
if __name__ == \'__main__\':
for i in range(3):
t = Process(target=loop)
t.start()
while True:
pass
四、多线程怎么使用多核
- 1、重写python编译器(官方cpython) 如使用:PyPy解释器
- 2、调用C语言的链接库
五、cpu密集型(计算密集型)、I/O密集型
- 计算密集型任务由于主要消耗CPU资源,代码运行效率至关重要,C语言编写
- IO密集型,涉及到网络、磁盘IO的任务都是IO密集型任务,这类任务的特点是CPU消耗很少,任务的大部分时间都在等待IO操作完成。99%的时间花费在IO上,脚本语言(如python)是首选,C语言最差。
六、创建多线程
#####1、使用_thread.start_new_thread开辟子线程
用这种方式创建的线程为【守护线程】(主线程死去“护卫”也随“主公”而去),主线程死掉,子线程也死掉(不管子线程是否执行完)。注意:python3以后已经放弃这种创建子线程的方式,所以在使用时可能会出错。
import _thread
import threading
import time
def doSth(arg):
# 拿到当前线程的名称和线程号id
threadName = threading.current_thread().getName()
tid = threading.current_thread().ident
for i in range(5):
print("%s *%d @%s,tid=%d" % (arg, i, threadName, tid))
time.sleep(2)
def simpleThread():
# 创建子线程,执行doSth
# 用这种方式创建的线程为【守护线程】
#主线程死去“护卫”也随“主公”而去
_thread.start_new_thread(doSth,("开启了子线程",))
mainThreadName = threading.current_thread().getName()
print(threading.current_thread())
for i in range(5):
print("我是主线程@%s" % (mainThreadName))
time.sleep(1)
# 阻塞主线程,以使【守护线程】能够执行完毕
while True:
pass
if __name__ == \'__main__\':
simpleThread()
#####2、 通过创建threading.Thread对象实现子线程
默认创建的不是守护进程,可以通过方法setDaemon(True)来修改。
import threading
import time
def doSth(arg):
# 拿到当前线程的名称和线程号id
threadName = threading.current_thread().getName()
tid = threading.current_thread().ident
for i in range(5):
print("%s *%d @%s,tid=%d" % (arg, i, threadName, tid))
time.sleep(2)
def threadingThread():
# 默认不是【守护线程】
# args=(,) 必须是元组
t = threading.Thread(target=doSth,args=(\'我是子线程\',))
# t.setDaemon(True) # 设置为守护线程
# 设置主线程名称
t.setName(\'线程\')
# 启动线程,调用run()方法
t.start()
# 等待子线程执行完
t.join()
# 获取线程名称
print(t.getName(),\'执行完毕\')
if __name__ == \'__main__\':
threadingThread()
3、通过继承threading.Thread类,进而创建对象实现子线程
覆写父类的run方法。
import threading
import time
def doSth(arg):
# 拿到当前线程的名称和线程号id
threadName = threading.current_thread().getName()
tid = threading.current_thread().ident
print("%s @%s,tid=%d" % (arg, threadName, tid))
time.sleep(2)
class MyThread(threading.Thread):
def __init__(self,name):
super().__init__()
# 覆盖了父类的name
self.name = name
# 覆写父类的run方法,
# run方法以内为【要跑在子线程内的业务逻辑】
#thread.start()会触发的业务逻辑
def run(self):
print(threading.current_thread().getName())
print(threading.current_thread().daemon)
# 如果为True就是守护线程,
#threading.current_thread().ident 线程id
doSth("线程id为%d"%threading.current_thread().ident)
if __name__ == \'__main__\':
for i in range(5):
mt = MyThread(\'线程%d\'%i)
# 启动线程
mt.start()
#####4、几个重要的Adef importantAPI():
print(threading.currentThread()) # 返回当前的线程变量
# 创建五条子线程
t1 = threading.Thread(target=doSth, args=(“巡山”,))
t2 = threading.Thread(target=doSth, args=(“巡水”,))
t3 = threading.Thread(target=doSth, args=(“巡鸟”,))
t1.start() # 开启线程
t2.start()
t3.start()
print(t1.isAlive()) # 返回线程是否活动的
print(t2.isDaemon()) # 是否是守护线程
print(t3.getName()) # 返回线程名
t3.setName("巡鸟") # 设置线程名
print(t3.getName())
print(t3.ident) # 返回线程号
# 返回一个包含正在运行的线程的list
tlist = threading.enumerate()
print("当前活动线程:", tlist)
# 返回正在运行的线程数量(在数值上等于len(tlist))
count = threading.active_count()
print("当前活动线程有%d条" % (count))`
七、线程冲突
1、示例:
import threading
money = 0
def addMoney():
global money
for i in range(10000000):
money += 1
print(money)
if __name__ == \'__main__\':
# addMoney()
for i in range(2):
t = threading.Thread(target=addMoney)
t.start()
输出:
11769218
12363994
输出应该为:
10000000
20000000
原因:CPU分配的时间片不足以完成一百万次加法运算,因此结果还没有被保存到内存中就被其它线程所打断。
由于多个线程并发访问同一个变量而互相干扰,所以造成输出结果不对。
2、使用互斥锁解决冲突
互斥锁
状态:锁定/非锁定
创建锁: lock = threading.Lock()
成对出现:
if lock.acquire():
money +=1
lock.release()
使用with来管理
with lock:
money +=1
import threading
import time
money = 0
# 创建线程锁
lock = threading.Lock()
def addMoney():
global money
for i in range(10000000):
money += 1
print(money)
def addMoneyLock():
global money
if lock.acquire():
# -----下面的代码只有拿到lock对象才能执行-----
for i in range(10000000):
money += 1
# 释放线程锁,以使其它线程能够拿到并执行逻辑
lock.release()
# ----------------锁已被释放-----------------
print(money)
def addMoneyWithLock():
time.sleep(1)
global money
# 独占线程锁
with lock: # 阻塞直到拿到线程锁
# -----下面的代码只有拿到lock对象才能执行-----
for i in range(1000000):
money += 1
# 释放线程锁,以使其它线程能够拿到并执行逻辑
# ----------------锁已被释放-----------------
print(money)
# 5条线程同时访问money变量,导致结果不正确
def conflictDemo():
for i in range(5):
t = threading.Thread(target=addMoney)
t.start()
# 通过依次独占线程锁解决线程冲突
def handleConflictByLock():
# 并发5条线程
for i in range(5):
t = threading.Thread(target=addMoneyWithLock)
t.start()
if __name__ == \'__main__\':
time.clock()
# conflictDemo()
handleConflictByLock()
print(time.clock())
3、使用递归锁解决冲突
由于线程中可能会出现互相锁住对方线程需要的资源,造成死锁局面,所以使用递归锁,用于解决死锁的问题,可重复锁。
import threading
money = 0
# 创建线程锁
rlock = threading.RLock()
def addMoney():
global money
with rlock:
for i in range(10000000):
money += 1
print(money)
if __name__ == \'__main__\':
for i in range(5):
t = threading.Thread(target=addMoney)
t.start()
4、通过线程同步来解决冲突
使用t.join()函数阻塞:
import threading
import time
money = 0
def addMoney():
global money
for i in range(10000000):
money += 1
print(money)
# 通过线程同步(依次执行)解决线程冲突
def handleConflictBySync():
for i in range(5):
t = threading.Thread(target=addMoney)
t.start()
t.join() # 一直阻塞到t运行完毕
if __name__ == \'__main__\':
time.clock()
handleConflictBySync()
print(time.clock())
八、使用Semaphore调度线程:控制最大并发量
并行:多条一起运行
并发:伪并行,同一时间,启动了多个,轮循执行
import threading
# value 控制的线程数
import time
sem = threading.Semaphore(3)
\'\'\'
sem.acquire() # 加锁
sem.release()
\'\'\'
def doSth(arg):
with sem:
tname = threading.current_thread().getName()
print("%s正在执行【%s】" % (tname, arg))
time.sleep(1)
print("-----%s执行完毕!-----\n" % (tname))
time.sleep(0.1)
if __name__ == \'__main__\':
threadList = []
for i in range(10):
t = threading.Thread(target=doSth,args=(i,))
t.start()
threadList.append(t)
# 保证子线程正常结束
for t in threadList:
t.join()
九、生产消费者模型
通过threading.Condition实现线程通信
\'\'\'
生产消费模型
\'\'\'
import random
import threading
# 线程通信信物
condition = threading.Condition()
# 产品容器
pList = []
class Product():
\'\'\'
产品类
\'\'\'
def __init__(self,name):
self.name = name
def __str__(self):
return "%s个产品" %self.name
class Producer(threading.Thread):
\'\'\'
生产者
\'\'\'
def run(self):
while True:
# 生产产品
with condition:
p = Product(random.randint(100,1000))
print("生产了:",p)
# 存放到容器
pList.append(p)
# 通知消费者,谁wait()了就通知谁
condition.notify()
# 监听消费者通知,谁wait代表谁希望被notify
#(wait中会释放condition)
condition.wait()
# with走完,交出condition
# 此处condition已释放(condition.release())
class Consumer(threading.Thread):
\'\'\'
消费者
\'\'\'
def run(self):
while True:
# 拿到产品
with condition:
try:
p = pList.pop()
print("消费者消费了:",p)
# 通知生产者生产,谁with了相同condition
#且wait就通知谁
condition.notify()
# 等候生产者消息(wait中会释放condition)
condition.wait()
except:
print("没有产品")
# 此处condition已释放(condition.release())
if __name__ == \'__main__\':
p = Producer()
c = Consumer()
p.start()
c.start(
后记
【后记】为了让大家能够轻松学编程,我创建了一个公众号【轻松学编程】,里面有让你快速学会编程的文章,当然也有一些干货提高你的编程水平,也有一些编程项目适合做一些课程设计等课题。
也可加我微信【1257309054】,拉你进群,大家一起交流学习。
如果文章对您有帮助,请我喝杯咖啡吧!
公众号
关注我,我们一起成长~~