文件名称：Projects:模仿Scrapy实现新框架Scrapy_plus,集setup安装、增量爬取、断点爬取、多线程、协程等功能
文件大小：28KB
文件格式：ZIP
更新时间：2024-05-29 03:29:29
Python
Projects 模仿Scrapy实现新框架Scrapy_plus,集setup安装、增量爬取、断点爬取、多线程、协程等功能 ## ###首先分析Scrapy的流程 ###从流程中抽取对象 三个内置对象： 请求对象(Request) 响应对象(Response) 数据对象(Item) 五个核心组件： 爬虫组件 构建请求信息(初始的)，也就是生成请求对象(Request) 解析响应对象，返回数据对象(Item)或者新的请求对象(Request) 调度器组件 缓存请求对象(Request)，并为下载器提供请求对象，实现请求的调度 对请求对象进行去重判断 下载器组件 根据请求对象(Request)，发起HTTP、HTTPS网络请求，拿到HTTP、HTTPS响应，构建响应对象(Response)并返回 管道组件 负责处理数据
【文件预览】：
Projects-master
----README.md(2KB)
----Project()
--------VERSION.txt(4B)
--------scrapy_plus()
--------code()
--------requirements.txt(56B)
--------setup.py(2KB)