Scrapy爬虫框架快速入门

时间:2023-01-19 21:06:45

安装scrapy

pip install scrapy -i https://pypi.douban.com/simple/

安装过程可能遇到的问题
  1. 版本问题导致一些辅助库没有安装好,需要手动下载并安装一个辅助库Twisted
  2. 运行时候:ModuleNotFoundError: No module named 'attrs'
    pip install attrs --upgrade
  3. 运行时候:Loading "scrapy.core.downloader.handlers.http.HTTPDownload Handler" for scheme "https"
    pip install pywin32

创建项目

CMD进入需要创建项目的目录下,输入命令

scrapy startproject ×××

Scrapy爬虫框架快速入门

 命令基本不需要死记硬背,正如下图所示,会告诉你接下来需要输入的命令

 Scrapy爬虫框架快速入门

 设置实体文件(建立要获取的字段)

Scrapy爬虫框架快速入门

这个文件内会写入后续需要爬取的字段,scrapy.Field()就是变量存储区域,通过“spiders”里的爬虫文件获取的内容都会存储在此处设置的区域里。

然后以实体文件作为中转站,将这些变量传输到其他文件中,例如,传输到管道文件中进行数据存储等处理。设置完实体文件,就可以在实战中应用刚才创建的变量了。

修改设置文件(设置Robots协议和User-Agent,激活管道文件)

运行爬取文件可能会遇到DEBUG:Forbidden by robots txt 说明百度的Robots协议禁止Scrapy框架直接爬取。

解决这个问题可以通过设置文件20行左右的位置把OBEY置为False

Scrapy爬虫框架快速入门

 设置User-Agent同样在设置文件40行左右位置,添加一行User-Agent

Scrapy爬虫框架快速入门

 要进行数据的爬后处理,即将数据写入数据库或文件等后续操作。所以先要激活管道

后面的数字只是排序的顺序,越小越靠前

如果管道文件有新增类名,就需要在这里添加

Scrapy爬虫框架快速入门

在文件夹“spiders”中编写爬虫逻辑(核心爬虫代码)

Scrapy爬虫框架快速入门

第10 行start_urls是一个列表存放需要爬取的url,如果需要爬取多个地址(例如存在ajex动态页面爬取),可以往这个start_urls列表中append多个地址

爬虫代码基本都在parse中

第13行实例化items,就是实例化需要提取的字段

后面几行都是基本的爬虫代码这里就解释了,需要说一下的是response.text才是网页源代码

Scrapy爬虫框架快速入门

 注:除了常见的用正则表达式提取,还有一个库比较常见就是Beautifulsoup

设置管道文件(爬后处理)

爬取后需要存入文件或者下载文件

这里需要说一下,第15行和第24行去判断spider.name是为了在运行的时候进行区分。

当然写管道的时候,可以把所有处理方式写在一个类中,通过spider.name去进行区分,也可以像下图一样用不同的类去写。但如果是不同的类就需要到设置文件中把新增类添加到设置中去。

第26行urlretrieve()函数是用来下载图片

Scrapy爬虫框架快速入门

 最后运行

最后在命令行输入

scrapy crawl ****