我在爬数据的时候发现绝大多数目标网站都具有反爬虫策略，最简单的反爬虫策略包括限制单位时间内同一ip的访问次数，或同一个登陆账户的访问次数（通过cookies实现）。例如新浪微博两者都有，网易新闻限制了ip访问次数等。
对于新浪微博，我的策略是申请了几十个微薄帐号，在分布式框架下通过十几台计算机（独立ip）进行轮爬。没有用代理服务器的方法，是因为代理服务器大多不是本地ip，如果一个用户帐号被发现经常在不同地区登陆，会被要求进行验证码验证，而在python下添加自动验证码验证的识别率不高，所以放弃了。值得一提的时，本来*在美国有一个代理网段是可以用来加速的，但是我太激进，没有设置请求间隔，一晚上爬了十几万个页面，造成以后挂那个网段的代理都被要求验证码验证。
对于网易新闻这类不严格要求登陆的网站，就可以用不同地区的公开代理服务器进行加速了，甚至国外地址都没有问题。他们自己的PM说不定还会兴高采烈地跟上层汇报产品的国际访问量大幅上升，呵呵。
公开的代理服务器很多，而且一些黑客站点会将其公开出来，类似地有挂在Russia的：proxylist 和国内的 cn-proxy . 里面的代理地址一般保持5分钟更新。另外要注意的是，这些代理服务器不一定能够访问你的目标网站，所以最好把他们都搜集下来，维护一个列表，在启动爬虫之前用目标网站的一个页面测试一下。
下面我把自己的测试方法给出来，ProxyData.py是反馈ip地址的，ProxyFind.py是通过多线程方法来测试代理的访问速度，如果不用多线程测试万数千个代理可能需要若干小时时间…
#ProxyData.py
#省略了好几千个代理，大家自己去搜集列表吧
proxies = ['117.135.250.134:80','117.135.250.133:8083','117.135.250.130:84','117.135.251.132:83','117.135.250.134:8083']
def getProxies():
temp = []
for item in proxies:
ip, port = item.split(':')
temp.append([ip, port])
return temp多线程测试，如果通过测试则inserDB()：
#ProxyFind.py
import ProxyData
class ProxyCheck(threading.Thread):
def __init__(self,proxyList):
threading.Thread.__init__(self)
self.proxyList = proxyList
self.timeout = 20
#测试的是能否得到网易新闻跟帖
self.testUrl = 'http://comment.news.163.com/api/v1/products/a2869674571f77b5a0867c3d71db5856/threads/BAHNKE3400014PRF/comments/newList?offset=0&limit=30&showLevelThreshold=72&headLimit=1&tailLimit=2&callback=getData&ibc=newspc'
#self.testStr = r'<a href="http://[\S]*\.html">'
self.testStr = r'getData'
def checkProxy(self):
cookies = urllib2.HTTPCookieProcessor()
for proxy in self.proxyList:
proxyHandler = urllib2.ProxyHandler({"http" : r'http://%s:%s' %(proxy[0],proxy[1])})
opener = urllib2.build_opener(cookies,proxyHandler)
opener.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0')]
t1 = time.time()
try:
req = opener.open(self.testUrl, timeout=self.timeout)
result = req.read()
#print result
#print result
timeused = time.time() - t1
pos = re.findall(self.testStr, result)
#print pos
if len(pos) > 0:
checkedProxy.append((proxy[0],proxy[1],timeused))
else:
continue
#print len(checkedProxy)
except Exception,e:
continue
def run(self):
self.checkProxy()
if __name__ == "__main__":
rawProxyList = ProxyData.getProxies()
getThreads = []
checkThreads = []
print 'checking...'
for i in range(100):
t = ProxyCheck(rawProxyList[((len(rawProxyList)+99)/100) * i:((len(rawProxyList)+99)/100) * (i+1)])
checkThreads.append(t)
for i in range(len(checkThreads)):
checkThreads[i].start()
for i in range(len(checkThreads)):
checkThreads[i].join()
print '.'*10+"总共有%s个代理通过校验" %len(checkedProxy) +'.'*10
insertDB(checkedProxy)得到可用的代理服务器列表之后，就是构造urllib2的opener来请求数据了，替换其中的ip和port变量：
import urllib2
import cookielib
proxyHandler = urllib2.ProxyHandler({"http" : r'http://%s:%s' %(ip,port)})
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj), proxyHandler)
opener.addheaders = [
('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0'), ('Accept','text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'),('Host', 'comment.' + category + '.163.com'),('Accept-Encoding', 'gzip,deflate')]
response = opener.open(target_url, timeout=20)