用HttpClient来模拟浏览器GET POST

时间:2011-02-22 07:27:47
【文件属性】:

文件名称:用HttpClient来模拟浏览器GET POST

文件大小:1.51MB

文件格式:RAR

更新时间:2011-02-22 07:27:47

httpclient

http://www.xd-tech.com.cn/blog/article.asp?id=34

一般的情况下我们都是使用IE或者Navigator浏览器来访问一个WEB服务器,用来浏览页面查看信息或者提交一些数据等等。所访问的这些页面有的仅仅是一些普通的页面,有的需要用户登录后方可使用,或者需要认证以及是一些通过加密方式传输,例如HTTPS。目前我们使用的浏览器处理这些情况都不会构成问题。不过你可能在某些时候需要通过程序来访问这样的一些页面,比如从别人的网页中“偷”一些数据;利用某些站点提供的页面来完成某种功能,例如说我们想知道某个手机号码的归属地而我们自己又没有这样的数据,因此只好借助其他公司已有的网站来完成这个功能,这个时候我们需要向网页提交手机号码并从返回的页面中解析出我们想要的数据来。如果对方仅仅是一个很简单的页面,那我们的程序会很简单,本文也就没有必要大张旗鼓的在这里浪费口舌。但是考虑到一些服务授权的问题,很多公司提供的页面往往并不是可以通过一个简单的URL就可以访问的,而必须经过注册然后登录后方可使用提供服务的页面,这个时候就涉及到COOKIE问题的处理。我们知道目前流行的***页技术例如ASP、JSP无不是通过COOKIE来处理会话信息的。为了使我们的程序能使用别人所提供的服务页面,就要求程序首先登录后再访问服务页面,这过程就需要自行处理cookie,想想当你用java.net.HttpURLConnection来完成这些功能时是多么恐怖的事情啊!况且这仅仅是我们所说的顽固的WEB服务器中的一个很常见的“顽固”!再有如通过HTTP来上传文件呢?不需要头疼,这些问题有了“它”就很容易解决了!

我们不可能列举所有可能的顽固,我们会针对几种最常见的问题进行处理。当然了,正如前面说到的,如果我们自己使用java.net.HttpURLConnection来搞定这些问题是很恐怖的事情,因此在开始之前我们先要介绍一下一个开放源码的项目,这个项目就是Apache开源组织中的httpclient,它隶属于Jakarta的commons项目,目前的版本是2.0RC2。commons下本来已经有一个net的子项目,但是又把httpclient单独提出来,可见http服务器的访问绝非易事。

Commons-httpclient项目就是专门设计来简化HTTP客户端与服务器进行各种通讯编程。通过它可以让原来很头疼的事情现在轻松的解决,例如你不再管是HTTP或者HTTPS的通讯方式,告诉它你想使用HTTPS方式,剩下的事情交给httpclient替你完成。本文会针对我们在编写HTTP客户端程序时经常碰到的几个问题进行分别介绍如何使用httpclient来解决它们,为了让读者更快的熟悉这个项目我们最开始先给出一个简单的例子来读取一个网页的内容,然后循序渐进解决掉前进中的所形侍狻?/font>


网友评论

  • 对我没什么用
  • 还行,适合于初级入门的学习
  • 很不错,不过我要C#的,
  • 还行,适合于初级入门的学习
  • 很多都写得很详细,东西很多,只是东西有点老。
  • 挺好的。值得学习下,非常感谢
  • 很不错的代码!谢谢!
  • 还不错,适合学习
  • 开起来有点复杂,没看懂
  • 挺好的。值得学习下,非常感谢LZ
  • 实现了抓取网页功能
  • 新手刚开始用,挺好的。值得学习下
  • 很不错的代码!谢谢!
  • 东西挺多的,很好很好
  • 很多都写得很详细,东西很多,只是东西有点老。
  • 是JS代码,下载的时候请注意。
  • 很实用,谢谢分享。
  • 这款工具真的很不错
  • 可以代替浏览器,学习了
  • 很好用的工具