Scrapy框架的架构图如上。
Scrapy中的数据流由引擎控制，数据流的过程如下：
1.Engine打开一个网站，找到处理该网站的Spider，并向该Spider请求第一个要爬取得URL。
2.Engine从Spider中获取到第一个要爬的URL，并通过Scheduler以Request的形式调度。
3.Engine向Scheduler请求下一个要爬取的URL。
4.Scheduler返回下一个要爬取的URl给Engine，Engine将URL通过Downloader Middlewares转发给Downloader下载。
5.一旦页面下载完毕，Downloader生成该页面的Response，并将其通过Downloader Middlewares发送给Engine。
6.Engine从下载器中接收到Response，并将其通过Spider Middlewares 发送给Sprider处理。
7.Spider处理Response，并返回爬取到的Item和新的Requests给Engine。
8.Engine将Spider返回的Item给Item Pipeline，将新的Request给Scheduler。
9.重复2-8步，直到Scheduler没有更多的Request，Engine关闭网站，爬取结束。
项目文件结构如下：
scrapy.cfg ------------------------配置文件，定义了项目的配置文件路径，部署相关信息等内容
project/
__init__.py
items.py ------------------------定义Item数据结构，所有Item的定义都放在这里
pipelines.py ------------------------定义Item Pipeline,所有的Item Pipeline的实现放在这里
settings.py ------------------------定义项目的全局配置
middlewares.py ------------------------定义Sprider Middlewares 与Downloader Middlewares
spiders/
__init__.py
spider1.py ------------------------每个Sprider文件包含一个Spider的实现，可以有多个Spider
spider2.py
....