requests库怎么验证代理是否有效

时间:2024-04-16 09:41:45

现在要访问一个目标地址是http的地址:http://icanhazip.com/,这个地址可以获取机器的外网ip

理论上,由于上述地址是http的,所以使用http代理会通过代理访问该地址,即

res =requests.get(\'http://icanhazip.com/\', proxies={\'http\':\'adcd.websd.zdw.vdm.tded:8080\'})

print res.content

上述打印的地址是代理机器的ip,而不是本机的ip,所以代理有效

 

而如果用https代理,虽然能请求成功,但是实际并没有走代理,而是用的本机直接访问,即

res =requests.get(\'http://icanhazip.com/\', proxies={\'https\':\'adslsdfsdfspider01.wsdfeb.zwsdf.tsdfed:9090\'})

print res.content

上述打印出来的结果是本机的ip

 

但是奇怪的是,如果我改成如下形式

res =requests.get(\'http://icanhazip.com/\', proxies={\'http\':\'adslspidsdfsdfer01.sdfweb.zsdfw.tesdfsdfsdd:9090\'})

即key还是http,但是value我用https的地址,此时不但能请求成功,而且用的代理的机器ip,而不是本机ip,即代理有效

 

分析原因:(当然其实也只是猜测,但是也八九不离十)

requests命令会先判断proxies参数里面传入的key(http/https),看它与目标url协议是否一致,比如如果url是http,proxies里面也是传入的http的key,或者同是https那么此时,requests就会认为代理有效,就会通过代理来访问这个url。如果url是http,但是key是https,或者url是https,但是key是http,那么requests就会认为两者不匹配,就会直接去访问目标地址而不走代理。

一个特殊情况就是,如果url是http的,proxies的key也是http的,但是key的value我传入https代理,此时由于requests发现协议也是一致的,所以也会通过代理来请求,此时由于公司的https代理也能处理这个http请求,所以代理成功。

 

wget下载网页的时候使用代理原理其实和requests是一样的。都是根据key和url协议是否一致来判定是否使用代理的

原文链接:https://blog.****.net/u011734144/article/details/71707443