1.序言
因业务需要去爬取裁判文书网,查看了网上的诸多教程发现裁判文书网的反爬更新频率很高,但是从19年8月份更新之后再也没有新的更新了。估计是现在的反爬已经足够使用了,裁判文书网的反爬主要有四种。听我一一道来
2.正文
裁判文书网的反爬主要分为两部分,第一部分是请求列表页的data内有三个加密的参数:
(1).pageid
(2).ciphertext
(3).__RequestVerificationToken
这三个参数的加密方式其实很容易就能找到,通过chrome的network的全局搜索就可以找到这三个参数加密的js代码,只需要拷贝下来之后使用pyexecjs模块来运行这些js其实就可以获得这三个加密的参数了,然后放到post请求的data内去请求就可以返回数据了。当然如果就这么简单的话,这个*网站就不值得还在这里记录一下了,因为这个网站最难的反爬在于当请求成功后的页面返回的数据,其实是一个混淆js的。这个地方的反爬用到了瑞数加载的js,我们需要先把这个js混淆先理通然后将获取到的新cookie再次的请求本来的连接,才可以获得想要的数据。当是好多人都是卡在了瑞数这个地方。
先将前三个参数加密的js截图贴在这里,供大家进行参考:
这里需要注意var enc 这里使用了des3加密的方法进行加密,可以找到这个方法的js,然后调用就可以了。这样就很容易获得三个加密的参数的值。瑞数请求部分需要自己进行研究。
3.结尾
内容虽然不多,主要是想分享**这个网站的思路,自己也是研究了好多天一点一点发现的。希望对大家有所帮助