网络爬虫是如何使用HTTP代理工作的

　　网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫的工作任务一般比较大，需要快速频繁的访问某个网站，很容易受到限制，因此需要HTTP代理的协助。那么，网络爬虫是如何使用HTTP代理工作的呢？

　　1、先获取HTTP代理

　　获取HTTP代理有很多种方法，比如采集网上的免费代理，购买付费代理。由于免费HTTP代理有效率实在太低，大多数人都会选择购买付费代理，然后通过API接口来获取HTTP代理进行爬虫工作。

　　2、设置HTTP代理

　　在爬虫代码中，需要添加HTTP代理的设置。以python为例，使用requests库，通过proxies参数添加HTTP代理。

proxies = {        'http': 'http://HTTP代理:端口号',        'https': 'http://HTTP代理:端口号'      }

　　其中，HTTP代理和端口号是通过API接口获取的，如果是用户名密码授权，还需带上用户名和密码。

proxies = {        'http': 'http://账号:密码@ip:port',        'https': 'http://账号:密码@ip:port'#“用户名+密码”授权，账号为实例ID，密码为8位数字的密码，在后台的实例管理下可以看到    }

　　3、使用HTTP代理发送请求

　　设置好HTTP代理后，就可以使用HTTP代理发送请求了。

import requestsurl = 'http://www.****.com'response = requests.get(url, proxies=proxies)if response.status_code == 200:      print('HTTP代理可用')else:      print('HTTP代理不可用')

　　发送请求时还需要注意目标网站的反爬策略，比如要加上headers、cookies等参数，还有一些比较严格的策略，需要特别注意，不然将会请求失败；请求成功后，则需要解析返回的内容，提取出来我们需要的信息。