【Python项目篇】【爬妹子图】

 #-*- coding:utf-8 -*-

 import urllib

 import urllib2

 from bs4 import beautifulsoup4 #获取标签下的内容

 #打开网页，获取源码

 x=0

 url='http://www.dbmeinv.com/?pager_offset=1'

 def crawl(url): #取名字，最好见名思义

     headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'}

     req=urllib2.Request(url,headers=headers) #浏览器帽子

     page=urllib2.urlopen(req,timeout=20) #打开网页

     contents=page.read()#获取源码

     #print contents

     #html.parser是自带的解析方式，lxml功能大

     soup=BeautifulSoup(contents,'html.parser')#创建一个soup对象

     my_girl=soup.find_all('img')#找到所有的标签

     print(my_girl)

     for girl in my_girl:#遍历list,选取属性

         link=girl.get('src')#获取src图片路径

         print(link)

         #下载的文件，取名字

         global x

         urllib.urlretrieve(link,'image\%s.jpg'%x)

         x+=1

         print

 crawl(url)

以上代码在3.5环境下运行一下代码可以成功爬到各图片链接

 #-*- coding:utf-8 -*-

 import urllib.request

 from bs4 import BeautifulSoup #获取标签下的内容

 #打开网页，获取源码

 x = 0

 url = 'http://www.dbmeinv.com/?pager_offset=1'

 def crawl(url):

     print('')

     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'}

     print('')

     req = urllib.request.Request(url, headers=headers)

     page = urllib.request.urlopen(req)

     #req = urllib3.request(url, headers=headers) #浏览器帽子

     print('')

     #page = urllib3.urlopen(req, timeout=20) #打开网页

     contents = page.read()#获取源码

     soup = BeautifulSoup(contents,'html.parser')#创建一个soup对象

     my_girl = soup.find_all('img')#找到所有的标签

     print(my_girl)

     for girl in my_girl:

         link = girl.get('src')

         print(link)

         print('')

 print('')

 crawl(url)

秒客网

【Python项目篇】【爬妹子图】

相关文章