Python学习之静态页面数据抓取

1 页面信息抓取

　　定义getPage函数，根据传入的页码get到整个页面的html内容

　　getContent函数，通过正则匹配把页面中的表格部分的html内容取出

　　最后定义getData函数，同样是通过正则匹配把getContent函数得到的具体表格内容取出，存储在dat[]数组中

 class PC:

 #初始化

     def __init__(self,baseUrl):

         self.baseURL = baseUrl

         self.tool = Tool()

     def getPage(self,pageNum):

         try:

             url = self.baseURL + str(pageNum)

             request = urllib2.Request(url)

             response = urllib2.urlopen(request)

             #print response.read()

             return response.read().decode('utf-8')

         except urllib2.URLError,e:

             if hasattr(e,"reason"):

                 print e.reason

                 return None

     def getContent(self,pageNum):

         page = self.getPage(pageNum)

         pattern = re.compile('<tr class="table-link.*?>(.*?)</tr>',re.S)

         result = re.findall(pattern,page)

         if result:

             #x = self.tool.replace(result[0])

             #print x.strip()

             return result

         else:

             return None

     def getData(self,result):

         reLen = len(result)

         pattern = re.compile('<td class="">(.*?)</td>',re.S)

         k = 0

         for i in range(0,reLen):

             d = re.findall(pattern,result[i])

             dat[k]={"Filing_Name":d[0],"Filing_Date":d[1],"District_Court":d[2],"Exchange":d[3],"Ticker":d[4]}

             k += 1

         num = k

         return dat

2 将结果存储在scv文件

 csvfile = file('aa.csv','wb')

 writer = csv.writer(csvfile)

 for i in range(1,214):

     print i

     res = pc.getContent(i)

     da = pc.getData(res)

     if (len(da)!=0):

         for k in range(0,len(da)):

             writer.writerow([(dat[k]["Filing_Name"]).strip(),(dat[k]["Filing_Date"]).strip(),(dat[k]["District_Court"]).strip(),(dat[k]['Exchange']).strip(),(dat[k]['Ticker']).strip()])

主要内容

1 获取页面内容

Python提供了强大的urllib2函数库获取网页内容，具体步骤如下

构建request请求，传入请求的url
通过urlopen(url, data, timeout)函数得到一个response对象，即返回的页面信息就存储在该对象中
通过read（）方法读出页面信息

2 正则匹配

该页面抓取主要利用 re.compile(pattern[, flags])函数获得一个匹配模式，即一个正则表达式对象
flags定义包括：
re.I：忽略大小写
re.L：表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境
re.M：多行模式
re.S：' . '并且包括换行符在内的任意字符（注意：' . '不包括换行符）
re.U：表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库

然后通过 findall函数获得所有满足匹配模式的字符串

3 存入文件

定义file对象，即打开一个文件
定义一个writer进行写文件操作
通过writer的writerrow函数逐行写入文件
关闭文件

秒客网

Python学习之静态页面数据抓取

相关文章