年前的时候想看下招聘Python的岗位有多少，当时考虑目前比较流行的招聘网站就属于boss直聘，所以使用Scrapy来爬取下boss直聘的Python岗位。 1.首先我们创建一个Scrapy 工程
scrapy startproject boss
2.此时创建项目成功，进入boss目录查看整体的项目目录结构
文件说明：
scrapy.cfg 项目配置文件
items.py 数据存储模板，用于结构化数据
pipelines.py 数据处理
settings.py 配置文件
middlewares.py 定义项目中间件
spiders 爬虫目录
3.创建爬虫（spiders）
scrapy genspider boss_zhipin zhipin.com
语法：
scrapy genspider [爬虫名称][爬取范围]
此时我们已经创建完成boss项目的第一个spider任务，其实创建spider不是很难，关键是我们怎么来编写我们的spider,下面我们看下我们要爬去的页面的对象； 4.明确爬虫需求，设计爬虫代码 题目我们已经明确了我们要做什么事情，我们主要来爬取boss直聘上关于python的职位,那么我们先把需求再次缩小一些我们来搜索北京区域关于python的职位，如果我们可以解决了北京区域，那么剩下的其他区域我们完全可以照着北京的来处理。
Ⅰ.定义入口url地址
通过上面的演示，我们首先登陆zhipin.com,通过搜索方式找到北京与python相关的职位，此时我们拿到入口url地址"https://www.zhipin.com/job_detail/?query=python&scity=101010100&industry=&position=".因为我们爬去的数据肯定不仅是首页，
所有我们会考虑到翻页的问题，我们进行翻页，看到第二和第二页的地址"https://www.zhipin.com/c101010100/h_101010100/?query=python&page=2&ka=page-2"和"https://www.zhipin.com/c101010100/h_101010100/?query=python&page=3&ka=page-3",
此时我们可以清楚的看到url变化规律，那么我们是否可以入口url定义为"https://www.zhipin.com/c101010100/h_101010100/?query=python&page=1&ka=page-1"，我们试着通过返回第一页的方式来验证了下，确实这样的规律可以访问到第一页的数据，那么我们可以把
start_url定义为"https://www.zhipin.com/c101010100/?query=python&page=1&ka=page-1"。
start_urls = ['https://www.zhipin.com/c101010100/?query=python&page=1&ka=page-1']
Ⅱ.items定义我们要爬取的字段；
class BossItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
job_title = scrapy.Field() # 岗位
compensation = scrapy.Field() # 薪资
company = scrapy.Field() # 公司
address = scrapy.Field() # 地址
seniority = scrapy.Field() # 工作年薪
education = scrapy.Field() # 教育程度
company_type = scrapy.Field() # 公司类型
company_finance = scrapy.Field() # 融资
company_quorum = scrapy.Field() # 公司人数
说明：
scrapy.Field()有点类似我们在数据库中定义的数据类型；
Ⅲ.通过定义的字段来定义我们的spider；
class ZhipinSpider(scrapy.Spider):
# 定义spider的名字
name = 'zhipin'
# 定义爬取的域
allowed_domains = ['zhipin.com']
# 定义入口URL
start_urls = ['https://www.zhipin.com/c101010100/?query=python&page=1&ka=page-1'] # 定义解析规则,这个方法必须叫做parse
def parse(self, response):
item = BossItem()
# 获取页面数据的条数
node_list = response.xpath("//*[@id=\"main\"]/div/div[2]/ul/li")
# 循环解析页面的数据
for node in node_list:
item["job_title"] = node.xpath(".//div[@class=\"job-title\"]/text()").extract()[0]
item["compensation"] = node.xpath(".//span[@class=\"red\"]/text()").extract()[0]
item["company"] = node.xpath("./div/div[2]/div/h3/a/text()").extract()[0]
company_info = node.xpath("./div/div[2]/div/p/text()").extract()
temp = node.xpath("./div/div[1]/p/text()").extract()
item["address"] = temp[0]
item["seniority"] = temp[1]
item["education"] = temp[2]
if len(company_info) < 3:
item["company_type"] = company_info[0]
item["company_finance"] = ""
item["company_quorum"] = company_info[-1]
else:
item["company_type"] = company_info[0]
item["company_finance"] = company_info[1]
item["company_quorum"] = company_info[2]
yield item
这样我们就可以顺利的解析完成第一页数据，因为我们不仅仅需要第一页数据，我们这里需要的是所有，我们这里还需要添加一个分页；
Ⅳ.获取下一页数据；
我们分析了下分页标签，发现我们可以一直通过下页标签的方式来获取下页请求的地址，为什么不直接通过分页标签来获取，经过翻页我们没有办法确定元素位置，只有下页元素位置固定且，可以完全的获取下页的请求地址，根据下页的herf地址来拼接请求地址。
# 定义下页标签的元素位置
next_page = response.xpath("//div[@class=\"page\"]/a/@href").extract()[-1]
# 判断什么时候下页没有任何数据
if next_page != 'javascript:;':
base_url = "https://www.zhipin.com"
url = base_url + next_page
yield Request(url=url, callback=self.parse)
这样我们就可以完成的获取所有的岗位数据。
通过boss直聘来爬取python的岗位，我们来介绍了下如何来编写自己的定义爬虫，这里我们是通过页面的方式来爬取了数据，那么我们是否可以通过其他的方式来获取数据，下次介绍通过抓包获取接口地址来爬取数据。