python简易爬虫来实现自动图片下载

　　菜鸟新人刚刚入住博客园，先发个之前写的简易爬虫的实现吧，水平有限请轻喷。

　　估计利用python实现爬虫的程序网上已经有太多了，不过新人用来练手学习python确实是个不错的选择。本人借鉴网上的部分实现加以改造实现网页图片地址提取和下载。首先找到你感兴趣的网页，以bbs论坛为例，查看网页的源代码发现图片下载的链接地址类似如下：

　　所以找到了属性href值就可以解析出我们的下载地址了（要加入当前url前缀才是绝对地址呦）。用python写个处理网页的函数可以这样

 def getImg(html,page):

     reg = r'attachment.php?.+" '

     imgre = re.compile(reg)

     imglist = imgre.findall(html)

     x = 0

     import os

     path = "d:\\picture\\"

     title = "%s\\" %page

     new_path = os.path.join(path, title)

     if not os.path.isdir(new_path):

         os.makedirs(new_path)

     for imgurl in imglist:

         imgurl=imgurl[:imgurl.find('"')]

         imgurl=imgurl.rstrip('"')

         print imgurl

         imgurl="http://xxxxxx/"+imgurl

         f = urllib2.urlopen(imgurl)

         with open(new_path+"%s.gif" % x, "wb") as code:

             code.write(f.read())

             x = x + 1

以上用的是最简单的正则匹配，将解析后的图片下载保存到D盘picture目录。
有时候论坛是要登录的，所以处理模拟登录这块根据你所处理的网站会稍许不同，实现模拟登陆功能大部分是提交登陆表单。这里就要用到python发送登陆表单请求消息了，利用httpfox插件获取登陆的post信息，

 ef login(weburl,username,password,page):

     cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())

     opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

     urllib2.install_opener(opener)

     postdata=urllib.urlencode({

                            'loginfield':'username',

                            'formhash':gethash(weburl),

                             'password':password,

                             'username':username,

                             'questionid':0,

                             'answer':'',

                             'loginsubmit':'true'})

     postdata=postdata.encode(encoding='UTF8')

     header = {'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)'}

     posturl=weburl

     req = urllib2.Request(posturl,postdata)

     result = urllib2.urlopen(req).read()

     Url="http://xxxxxxxxxx/viewthread.php?tid=14943&extra=page%3D1&page="

     Url=Url+("%s" % page)

     result=getHtml(Url);

     return result

到这边都是比较简单实现的，稍微麻烦点的是请求表单中postdata中需要获取随机的hash值，因此首先要解析出你登陆界面中的那个formhash，这个用re模块简单解析处理一下就ok了

 def gethash(url):

     page = urllib2.urlopen(url)

     html = page.read()

     reg = r'name="formhash" value=".+"'

     hashre = re.compile(reg)

     hashvalue=hashre.findall(html)

     pos=(hashvalue[0]).index('value=')

     hash=(hashvalue[0])[pos+6:]

     print hash.strip('"')

     return hash.strip('"')

,以上就是用到的大部分函数了，当然解析网页还有更多的好用的模块比如beautifulsoup等等，简单研究一下应该就能实现一个简易的爬虫程序了。

秒客网

python简易爬虫来实现自动图片下载

相关文章