文件名称：AsynSpider:python并发与异步
文件大小：24KB
文件格式：ZIP
更新时间：2024-03-26 15:14:49
Python
异步蜘蛛 python并发与异步 双面 程序在等待某个操作完成期间，自身无法继续干别的事情，则称该程序在该操作上是分开的。 非双向 程序在等待某操作过程中，自身不被重叠，可以继续运行干别的事情，则称该程序在该操作上是非分段的。耗时与效率低下，我们才要把它变成非双重，以提高效率。 同步 不同程序单元以完成某个任务，在执行过程中需靠某种通信方式以协调一致，称这些程序单元是同步执行的。 初步 不同程序单元之间的过程中不需要通信协调，也能完成任务的方式，不相关的程序单元之间可以是异步的。 IO密集型：CPU经常等待IO 网络后台服务 网络爬虫 多协程 多线程 CPU密集型：计算密集型，CPU计算为主 加密解密使用多进程 全局解释器锁GIL 即使使用了多线程，同一时刻也只有多个线程使用CPU，导致多核CPU的浪费 GIL只会对CPU密集型的程序产生影响 螺纹池 由于在切换线程的时候，需要切换整个环境
【文件预览】：
AsynSpider-main
----进程()
--------进程池爬虫示例_ProcessPoolExecutor.py(795B)
--------多进程爬虫_queue.py(4KB)
--------多进程爬虫_JoinableQueue.py(4KB)
--------多进程队列测试.py(953B)
----线程()
--------线程池ThreadPoolExecutor.py(976B)
--------多线程爬虫_queue.py(4KB)
--------线程池map.py(320B)
--------线程池wait.py(688B)
--------线程池爬虫测试.py(1KB)
--------线程池爬虫_ThreadPoolExecutor.py(3KB)
--------线程池as_completed.py(915B)
----README.md(3KB)
----setting()
--------db_mongo.py(644B)
--------__init__.py(24B)
--------db_setting.py(235B)
--------db_mysql.py(1KB)
----协程()
--------协程数据解析.py(2KB)
--------协程_aiohttp.py(1KB)
--------协程爬虫.py(4KB)
--------协程_多任务.py(986B)
--------协程爬取网页源代码.py(1KB)
--------协程爬虫测试.py(2KB)
--------协程_单任务.py(542B)
--------协程_aiomultiprocess.py(655B)
--------协程_绑定回调函数.py(901B)
----.gitignore(2KB)