Jsoup解析网址与浏览器查看内容不一致

时间:2015-12-20 09:46:54
【文件属性】:

文件名称:Jsoup解析网址与浏览器查看内容不一致

文件大小:17KB

文件格式:DOCX

更新时间:2015-12-20 09:46:54

Java Jsoup

开发过程中,用Jsoup解析糯米团购网站页面的时候,发现取得的页面和浏览器查看到的页面不一样,而是手机页面。 经过跟踪代码执行,发现content取得的内容和用浏览器直接访问的内容不一样。 经过查询资料,发现是User-Agent 的问题,在Jsoup中默认没有指定User-Agent,网站的服务器则认为这个访问来自手机,返回的是手机的页面。


网友评论

  • 没用 我修改了user-agent以后还是无法正常解析优酷的网页信息 还没找到解决办法 不过感谢分享
  • 确实,User-Agent对网页返回的内容有作用,大部分网站都需要把User-Agent设为浏览器