由于简历里写了三年爬虫经验，所以会收到很多公司的面试邀请。
大概各种类型的爬虫需求都接触了一遍，总结一下，看看目前爬虫岗位的需求状况。
- 为什么选择爬虫岗位
1.待遇高
2.兴趣
3.做大数据过渡
爬虫岗位是一个独特领域的细分，目前情况主要集中在北京、上海、深圳、广州、杭州
以上5个城市的岗位占全国爬虫岗位的80%
根据需要采集的数据和应用场景，我把爬虫岗位做了分类
- 搜索引擎爬虫
特点：需要大规模采集互联网网页，重点在任务管理，调度，强调采集效率，对页面解析要求不高。
没有遇到过搜索引擎公司社招此类岗位，由此猜测目前搜索引擎的爬虫技术已经成熟，且岗位很少。
2.互联网金融类
特点：需要登录授权账户采集账户信息，如手机账单、邮箱信息、银行卡信息等。此类爬虫岗位对数据采集过程的要求高，需要解决模拟登陆、验证码识别，提交表单，点击跳转问题。
对技术要求较高，待遇开的也比较高。
3.电商类
特点;围绕几大电商平台采集信息，或者机竞争对手的定价信息，遇到问题主要是电商平台的防采集策略，一般需要投入较大的资源。
电商信息的采集需要占爬虫岗位的很大比例，但一般需要建设团队，时刻应对防采集策略的变动。
4.新闻阅读类
入门级爬虫岗位，只是采集网页信息，熟悉爬虫解析即可胜任。
此类岗位待遇不高，有时需要具备其他技能：数据仓库、文本挖掘。
5.其他类
总结：爬虫岗位需求少，流动性差，没有持续发展空间，部分公司会选择采集项目完成之后撤销爬虫岗位。对于希望做爬虫的朋友，最好具备其他技能，如大数据、数据挖掘。
或者java web 开发。
后期我会写爬虫采集爬虫及大数据招聘岗位，发布分析结果。
爬虫大数据数据挖掘交流 qq群：177655321