爬取网页信息需要获取header，即user-agent，以下是两种获取浏览器user-agent的方法
方法一：
以chrome为例，在地址栏输入about:version，即可出现如下信息。
用户代理即user-agent。
当然有的浏览器不支持使用about:version方法，例如IE浏览器。那么现在用到方法二即可。
方法二：
打开任意一个浏览器，鼠标右键点击网页， 查看网页的源代码。以谷歌为例， 可以用快捷键F12来打开控制台。控制台如下：
点击network选项，打开如下界面。
上图中红框的部分为浏览器发送的各种请求，随便点击一个，出现如下图信息。
headers的意思为请求头，你可以在此部分内容中寻找user-agent的内容。当然，有的请求头没有找到，若是没有，换个请求点击就行了。