[置顶] python定向爬虫——爬取某代理Ip网站上的所有ip

爬取一个网站的基本过程

• 确定目标 –> 分析目标 –> 编写程序 -> 执行爬虫

• 分析目标：
  url 格式 数据格式 网页编码

  分析目标数据在源代码里的结构，以便在获取整个页面源代码后，可以利用正则进行匹配。

注意：目标网站的格式会随时升级，定向爬虫也需要定期升级。

实例：爬取某代理Ip网站上的所有ip

确定目标:

• 爬取西刺代理上存活一年以上的高匿代理IP

分析目标

根据上面分析可以确定两个正则表达式

• 获取目标数据：

re.compile(r'(\d+\.\d+\.\d+\.\d+).*?<td>(\d{2,4})</td>.*?<td>(\d+.*?)</td>',re.M|re.S) 

• 获取新的url：

re.compile(r'<a.*?href="(/nn/\d+)">\d{1,4}</a>',re.M|re.S)

编写程序

• 如果你得编程能力很强，那么倒是可以直接入手编写程序。但是作为我还差的远，所以在编写程序之前就把代码架构在脑海中过一遍，画一个流程图。以便编写程序时有一个清楚的思路。同时这也是一个很好的习惯。
• 代码结构：

HttpMain.py    ---主文件
class Htma() 
def beganCrawl()      主程序    
if __name__ == '__main__':  程序执行入口 
HttpSourceCode.py     ---获取源代码文件
class Souco()
def sent()   请求连接函数 
HttpAnalyze.py      ---分析源代码文件  
class Anurl() 
def getInfor()   分析获取url和目标数据 
HttpHandleUrl.py    ---处理新的url文件
class Hanur()
def takeOutUrl()  获取url方法
def gainUrls()    保存url方法 
HttpSaveFile.py       ---保存数据文件     
class Safi() 
def dataNotNone() 保存一个网页上的目标数据      
def outputer()   把全部目标数据写入文件

• 程序

HttpMain.py —主文件—主文件

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:[e-mail]
'''
from reprile_IP import HttpSourceCode,HttpHandleUrl,HttpAnalyze,HttpSaveFile

class Htma(object):
def __init__(self):
        self.sourceCode = HttpSourceCode.Souco()  #下载源代码
        self.analyze = HttpAnalyze.Anurl()  # 分析源代码
        self.handleUrl = HttpHandleUrl.Hanur()   #处理新的url
        self.saveFile = HttpSaveFile.Safi()      #保存信息到文件

def beganCrawl(self,new_url):
        count = 1
#把主url添加到new_url中去
        self.handleUrl.addNewUrl(new_url)

#判断 new_url_lsit 列表中是否存还存在url
while self.handleUrl.new_url_list:

#从new_url_lsit列表中获取一个url
            new_url = self.handleUrl.takeOutUrl()
print u'开始爬取第%d个:%s' %(count,new_url)

#把这个url传入到获取请求函数中，并把源代码返回
            html_code = self.sourceCode.sent(new_url)

#把源代码传入分析源代码函数中，并把返回新获取的url和主要信息
            new_urls,new_data = self.analyze.getInfor(html_code)
# print new_data
# print new_urls
#把new_urls列表添加到 new_url_lsit 中去
#把new_date列表传入到写入文件函数中
            self.handleUrl.gainUrls(new_urls)
            self.saveFile.dateNotNone(new_data)

if count == 20:break
            count += 1
        self.saveFile.outputer()

if __name__ == '__main__':
    rootUrl = 'http://www.xicidaili.com/nn/1'
    hm = Htma()
    hm.beganCrawl(rootUrl)

HttpSourceCode.py —获取源代码文件

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:[e-mail]
'''
import urllib2

class Souco(object):
def sent(self, new_url):
if new_url is None:
return None
#获取一个User-Agent
        headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) '
'Gecko/20100101 Firefox/54.0',
        }

#获取request请求对象
        request = urllib2.Request(new_url,headers = headers)
try:
# 创建对象
            response = urllib2.urlopen(request)
if response.getcode() !=200:
return None
return response.read()
except:
print u'获取网站源代码失败'

HttpAnalyze.py —分析源代码文件

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:[e-mail]
'''

import re,urllib2
from reprile_IP import HttpSourceCode

class Anurl(object):
def getInfor(self, html_code):
try:
            findInforList = self.getInforCompile().findall(html_code)
            inforList = self.filtrationInfor(findInforList)

            findUrlList = self.getUrlCompile().findall(html_code)
            urlList = self.filtrationUrl(findUrlList)
return urlList, inforList
except:
print u'从源代码中匹配信息失败'

def getInforCompile(self):
        inforCom = re.compile(r'(\d+\.\d+\.\d+\.\d+).*?<td>(\d{2,4})</td>.*?<td>(\d+.*?)</td>',re.M|re.S)
return inforCom

def getUrlCompile(self):
        urlCom = re.compile(r'<a.*?href="(/nn/\d+)">\d{1,4}</a>',re.M|re.S)
return urlCom

def filtrationInfor(self, findInforList):
        ipList = []
for i in findInforList:
if '天' in i[2]:
if int(re.search('\d+',i[2]).group()) > 365:
                    ipList.append(i)
return ipList

def filtrationUrl(self, findUrlList):
        urlList = []
        string = 'http://www.xicidaili.com'
for url in findUrlList:
            urlList.append(string+url)
return urlList

HttpHandleUrl.py —处理新的url文件

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:[e-mail]
'''

import random

class Hanur(object):
def __init__(self):
        self.new_url_list = list()
        self.old_url_list = list()

def addNewUrl(self,new_url):
if new_url is None:return

if new_url in self.new_url_list or new_url in self.old_url_list:return
        self.addNewurls(new_url)

def addNewurls(self, new_url):
#把这个新的url添加到url列表中
        self.new_url_list.append(new_url)

def takeOutUrl(self):
#获取一个url
if self.new_url_list is not None:
try:
                new_url = random.choice(self.new_url_list)
                self.new_url_list.remove(new_url)
                self.old_url_list.append(new_url)
except:
print u'获取新的url失败'
else:
return new_url

def gainUrls(self, new_urls):
try:
for url in new_urls:
                self.addNewUrl(url)
except:
print u'添加新的url失败'

HttpSaveFile.py —保存数据文件

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:[e-mail]
'''


class Safi(object):
def __init__(self):
        self.datas = list()

def dateNotNone(self, new_data):
try:
for data in new_data:
if data is None:return
                self.datas.append(data)
except:
print u'添加有用信息到列表失败'

def outputer(self):
with open('ip.txt','w+') as f:
for data in self.datas:
                f.write('%3s:%s' % (data[0],data[1]))
                f.write('%20s' % data[2])
                f.write('\n')

执行程序

执行非常完美。

总结

在编写这个程序时，遇到最大的问题就是用正则表达式匹配网站上的信息。不得已又把正则过了一遍。又了解到了flag参数（I,M…），总之满满的收获。