协程+事件驱动
协程 (微线程)--用处多,重点
当调度切换时 靠寄存器上下文和栈保存 要使用时再调用(即可不会因io传输数据卡壳 从而耗时无法继续进行)实现并行
优缺点:
优点:
1 无需同线程上下文切换 消耗cpu
2 修改数据无需加锁(协程都是单线程串行 无需加锁)
3 cpu支持大量协程
缺点:
1无法调用多核资源(本身是单线程) --指的是cpu只用单核运作
============================================================================================================
接下来介绍两种协程切换的 模板与方法
1.greenlet协程切换(手动挡)
2.gevent协程切换(自动挡)
greenlet 模板(手动切换)
import greenlet
def test1():
print(1)
gr2.switch()
print(3)
gr2.switch()
def test2():
print(2)
gr1.switch()
print(4)
if __name__=='__main__':
gr1=greenlet.greenlet(test1) #启动协程 函数名作为参数
gr2=greenlet.greenlet(test2)
gr1.switch()
注意
1 需要调用到另一函数时 用函数协程的switch函数
2 gr1=greenlet.greenlet(test1) #调用greenlet函数 启动协程 函数名作为参数
3 调用顺序
①main函数实例化并启动线程 务必随后进入协程 上例为进入test1()-->gr1.switch()
②当遇到gr2.switch() 语句 将从test1函数转为执行test2函数
③最后按顺序执行输出1 2 3 4
gevent 模板(自动切换)
import gevent
from gevent import monkey
monkey.patch_all() #把当前程序所有的io操作都单独做上标记
def f1():
print(1)
gevent.sleep(5) #gevent中的休眠函数 模拟IO操作长耗时 当协程遇到IO即向下切换
print(5)
def f2():
print(2)
gevent.sleep(3) #遇到IO继续向下切换 如若都有IO 则反复切换 直到时间结束
print(4)
def f3():
print(3)
gevent.sleep(0) #即使0秒 也代表切换协程信号
print(3.1)
gevent.joinall([
gevent.spawn(f1), #启动协程,以列表形式储存
gevent.spawn(f2),
gevent.spawn(f3)
])
注意:
1 gevent为第三方库 已对实现并发,同步、异步编程进行封装 (推荐使用)
2 原理:当遇到I/O操作将自动切换 进行下一协程的运行 若还有i/o则再向下 随后再从头循环 如若都有I/O 则反复切换 直到时间结束
目的:①节省时间 最终花费最长协程消耗的时间
②节约内存,内存消耗远小于进程交替
3 from gevent import monkey
monkey.patch_all() //这两句把当前程序所有的i/o操作都单独做上标记--运用与基本网络爬虫中(或那些不会被系统直接认出I/O操作的语句)
4 gevent的实例化:
gevent.joinall([
gevent.spawn(f1), # 加入协程,以列表形式储存
gevent.spawn(f2), #调用gevent.joinall(列表)
gevent.spawn(f3) #gevent.spawn(f2), 启动协程 亦可再其后补充参数---spawn(函数名,‘参数’)
])
5 gevent.sleep(5) #gevent中的休眠函数 模拟I/O操作长耗时 (当协程遇到I/O即向下切换)
gevent.sleep(0) #即使0秒 也代表切换协程切换信号 因此向下切换协程
============================================================================================================
事件驱动:
定义:通常 在收到一个请求后,放入一个事件列表,让主进程通过非阻塞I/O的方式来处理信息
举个例子:
模拟鼠标键盘输入时,常常要对鼠标点击进行相应,首先如何获得鼠标点击呢?
运用事件驱动的思想:
1. 有一个事件(消息)队列;
2. 鼠标按下时,往这个队列中增加一个点击事件(消息)--随后继续等待接收鼠标下一次点击(避免卡顿)
3. 有个循环,不断从队列取出事件,根据不同的事件,调用不同的函数,如onClick()、onKeyDown()等;
4. 事件(消息)一般都各自保存各自的处理函数指针,这样,每个消息都有独立的处理函数;
注意:
1 左侧事件源 只管理自己项目 (例:鼠标,键盘输入) 接收到后丢给队列 自己继续接收
2 右侧处理线程一步步去取得 不同任务并调用对应函数解决
好处: 避免cpu资源浪费 若一个线程堵塞 无法进行其他操作(简称卡机)因此使用协程