Python GIL、CPU密集型、IO密集型

时间:2021-10-17 06:13:00

Python GIL(Global Interpreter Lock(全局解释器锁))

Python GIL、CPU密集型、IO密集型

1:进程里面多个线程,线程 共享A=10

2:Python解释器,A改完值之后会传回进程容器,为了防止A和B同时修改A的值引起的错误,加入锁,能保证A修改时,B和C不能修改

3:通过C语言调用底层命令与操作系统进行交互,然后OS再和硬件进行交互

什么是CPU密集型、IO密集型

IO密集型(I/O bound): 指的是系统的CPU性能相对硬盘、内存要好很多,此时,系统运作,大部分状况是CPU在等IO(硬盘/内存)的读/写操作,此时CPU loading并不高, 即便是程序性能达到极限时,CPU占用率仍然很低,可能的原因是任务本身需要大量的IO操作,而pipeline做的并不是很好,没有充分利用处理器的能力

CPU密集型(CPU bound):也叫计算密集型,指的是系统的硬盘、内存性能相对CPU要好很多(比如我的破电脑,CPU是i5三代的,但是内存8G,256G固态,打开大一点的项目CPU就占用100%了,但是内存才占用一半左右),IO很短时间内完成,但是CPU还有许多运算要处理; CPU bound 的程序一般而言CPU占用率相当高,可能是因为任务本身不太需要访问IO设备,也可能是因为程序是多线程实现因此屏蔽掉了等待IO的时间

计算密集型任务由于主要消耗CPU资源,因此,代码运行效率至关重要。Python这样的脚本语言运行效率很低,完全不适合计算密集型任务。对于计算密集型任务,最好用C语言编写。

IO密集型任务执行期间,99%的时间都花在IO上,花在CPU上的时间很少,因此,用运行速度极快的C语言替换用Python这样运行速度极低的脚本语言,完全无法提升运行效率。对于IO密集型任务,最合适的语言就是开发效率最高(代码量最少)的语言,脚本语言是首选,C语言最差。

总之,计算密集型程序适合C语言多线程,I/O密集型适合脚本语言开发的多线程。

freeze_support()有什么作用