public static void main(String[] args) throws ClientProtocolException, IOException {
CloseableHttpClient httpClient = HttpClients.createDefault();//创建HttpClient实例
HttpGet httpGet = new HttpGet("http://www.tuicool.com");//创建HttpGet实例
HttpHost proxy = new HttpHost("121.232.147.232",9000);//代理ip地址.端口
RequestConfig config = RequestConfig.custom().setProxy(proxy).build();
httpGet.setConfig(config);//设置代理ip 可根据响应状态进行换ip,ip在代理ip网站进行抓取,抓取到放到队列中
httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:53.0) Gecko/20100101 Firefox/53.0");//设置请求头信息
CloseableHttpResponse response = httpClient.execute(httpGet);
HttpEntity entity = response.getEntity();//获取返回实体
System.out.println("网页内容:"+EntityUtils.toString(entity, "utf-8"));
response.close();//response闭关
httpClient.close();//httpClient关闭
}
相关文章
- C# HttpClient使用和注意事项,.NET Framework连接池并发限制
- android使用webview登录,获取session传递到httpclient小例子
- 使用CEfSharp之旅(8)CEFSharp 使用代理 更换位置IP
- 【Cocos2d-x v3.x 教程】如何使用HttpClient
- 【Cocos2d-x v3.x 教程】如何使用HttpClient
- 爬去豆瓣IP被封,用IP代理解决
- 使用CEfSharp之旅(8)CEFSharp 使用代理 更换位置IP
- ubuntu apt不使用代理
- 使用IP地址监控工具扫描MAC 地址
- OpenFeign的远程调用、使用HttpClient优化性能 及 最佳实践方式