python学习笔记(3)--爬虫基础教程1

时间:2021-07-12 07:18:43
Python学习笔记(3)-爬虫基础教程(1)  参考网页:【1】.爬虫:http://www.cnblogs.com/fnng/p/3576154.html
                  【2】.正则表达式:http://www.cnblogs.com/fnng/p/3576154.html
                  【3】.《Python爬虫学习系列教程》学习笔记  http://www.cnblogs.com/xin-xin/p/4297852.html

 功能实现:从“糗事百科”上爬段子和作者
#Python版本:3.4.2#和先前版本不一样的地方 1)print 后内容要加括号
         2)
except urllib2.URLError as e:这句在之前的版本中‘as’是由','代替的 

 
Step 1 :

      import re      import urllib.request as urllib2    #在Python 3.X后urllib2变成了urllib.request,为了方便使用,就定义一个urllib2来代替
 

 Step 2:获取页面信息:
 

      url = 'http://www.qiushibaike.com/'                                                             #URL(统一资源定位符)信息      user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) '                            #加一个header,否则访问不成功
      #header信息获取方式(谷歌浏览器):  自定义及控制--->更多工具--->开发者工具--->Network---->.....   python学习笔记(3)--爬虫基础教程1 
    
#header验证部分,如果成功了就打印BEGIN  
    headers = { 'User-Agent' : user_agent }                                                    
      try:            request = urllib2.Request(url,headers = headers)            response = urllib2.urlopen(request)            print ('BEGIN')     except urllib2.URLError as e:            if hasattr(e,"code"):                print ('aaa')           if hasattr(e,"reason"):               print ('bbb')       

Step 3.  用正则表达式筛选要爬下来的东西
content = response.read().decode('utf-8')                                #解码方式是utf-8
python学习笔记(3)--爬虫基础教程1 

#这句正则表达式的两个(.*?)内分别是作者和内容,正则表达式参照日志开头参考网页【2】
#re.S表示多行匹配
pattern = re.compile('<h2>(.*?)</h2></a></div><div .*?"content">(.*?)<!--(.*?)--></div>',re.S)
 
 #将所有爬到的东西存在items中  items = re.findall(pattern,content)
4. 查看items中的东西
x=1 
for item in items:  print(x)  print("author:")  print (item[0])     #item[0]中是作者  print("story:")  print(item[1])    #item[1]中是段子  x=x+1 
#结果截图 
python学习笔记(3)--爬虫基础教程1