上次文章中我们学习ip提取,但是所获取的并不都是有效的,所以我们得进行检测
#-*-coding:utf-8-*-
import os
import requests
from bs4 import BeautifulSoup
#定义一个测试IP的函数
def test_proxy():
N = 1
os.chdir(r'./')
url = 'https://www.baidu.com'
fp = open('ip.txt', 'r')
#读取每一行的ip和端口号
ips = fp.readlines()
proxys = list()
for p in ips:
#将ip切片后以列表的形式保存
ip = p.strip('\n').split('\t')
proxy = 'http:\\' + ip[0] + ':' + ip[1]
proxies = {'proxy': proxy}
#将获取的ip存入字典
proxys.append(proxies)
for pro in proxys:
try:
s = requests.get(url, proxies=pro)
print('第{}个ip:{} 状态{}'.format(N,pro,s.status_code))
except Exception as e:
print(e)
N+=1
test_proxy()
建议所选择来检测的网站最好是大型的网站