网络爬虫防止被封的策略和反反爬策略简单总结

时间:2022-09-04 17:02:04

今天不想工作,比较累,遇到一个网站反爬比较严重,不说具体哪个名字了,简单总结下爬虫防封策略

1,伪装http 头

     chrome 开发者模式,firebug等抓包工具,查看http 进行模拟User-Agent,有的需要加上Referer,可以多加入几个http user

2,代理ip,对于限制ip 或者ip被封的采用代理ip

   代理ip 可以抓取,本人每天监控十多个网站,每天能抓取一批,计划以后每天公布几个可以访问百度的代理ip,注意用高匿的最安全

3,有些需要进行登录

    进行模拟登录,或者手动登录了 记下cookie 天上

4,验证码

       目前有些简单的验证码机器可以识别下,有些不行,需要人工输入,当出现反爬,报警后,再人工干预下

5,注意抓取频度

     这是反爬的一个最简单,但是很实用的方式

6,可以使用拨号的ip,定期拨号更换ip,注意间断一段时间,保证ip变化

7,采用模拟浏览器的一些方式,进行模拟人的行为,包括自动填表,自动点击,自动滑动滚动条等,可以用selenium 和htmlunit 实现,phtomjs 也是一个不错的选择

8,分析网站反爬的一些策略,进行相应的反反爬策略去除,比如有些转为爬虫设置的一些坑,需要识别出来,具体大家可以搜搜一些