Python爬虫之BeautifulSoup的用法

之前看静觅博客，关于BeautifulSoup的用法不太熟练，所以趁机在网上搜索相关的视频，其中一个讲的还是挺清楚的：python爬虫小白入门之BeautifulSoup库，有空做了一下笔记：

一、爬虫前的基本准备

1. 如何安装BeautifulSoup?

pip install beautifulsoup4 或 easy_install beautifulsoup4

注意：python2用BS4，但python3可以考虑用BS3，BS4对python3支持不够好

2. 如何查看BeautifulSoup已经安装？

打开IDE，用from bs4 import BeautifulSoup不报错 或 在cmd中输入pip list查看pip已安装的第三方库

3. 爬虫模块了解多少？

爬虫模块：urllib、urllib2、Requests、BeautifulSoup、Scrapy、lxml等

二、BeautifulSoup基础知识

1. 如何获取自定义html标签的内容？

#-*-coding:utf-8-*-

from bs4 import BeautifulSoup

html = '<title>女朋友</title>'
soup = BeautifulSoup(html, 'html.parser')    #创建一个beautifulsoup对象，html.parser为默认的网页解析器
print soup.title                             #获取title标签内容

运行结果：
<title>女朋友</title>

数据：<div>,<title>,<a>...标签

找到标签的内容：soup.div（标签的名字）

2. 如何获取本地html文件的内容？

#-*-coding:utf-8-*-
 
from bs4 import BeautifulSoup
 
soup = BeautifulSoup(open('C:\\Users\\Administrator\\Desktop\\a.html'), 'html.parser')    #在本地创建一个名叫a.html的html文件
print soup.prettify()                                                                     #打印soup对象的内容，格式化输出

结果：
<h1>
 今天是周五
</h1>
<p>
 你们都很棒
</p> 

打开本地的html文件：open

打印本地文件的内容：soup.prettify()

3. html源代码相同的标签有很多，怎么获取到我想要的那一部分内容？

#-*-fulcoding:utf-8-*-

from bs4 import BeautifulSoup

html = '<div class="a">科里小姐姐</div><div class="b">若兰姐姐小溪姐姐</div>'
soup = BeautifulSoup(html, 'html.parser')
e = soup.find('div', class_ = "b")          #class是python关键字，所以用class过滤，必须加下划线_
print e.text                                #.text获取文本

结果：
若兰姐姐小溪姐姐

网页：名字，class，id

find(name,attrs,recursive,text,**wargs)：这些参数相当于过滤器一样进行筛选处理

name：基于标签的名字

attrs：基于标签的属性

recursive：基于是否使用递归查找

text：基于文本参数

**wargs：基于函数的查找

4. 区分点：find   find_all

#-*-fulcoding:utf-8-*-

from bs4 import BeautifulSoup

html = '<a href="www.baidu.com">百度</a><a href="www.sina.com.cn">新浪</a>'
soup = BeautifulSoup(html, 'html.parser')

#先用find
a = soup.find('a')
print a.get('href')
 
#再用find_all
b = soup.find_all('a')
for c in b:
    print c.get('href')

结果：
find:
www.baidu.com

find_all:
www.baidu.com
www.sina.com.cn

可知：find_all()返回的是一个列表，可以遍历html文件中包含某一元素的所有字串，而find()只会找到第一个。

find_all()能够限制返回结果的数量，如soup.find_all('a', limit = 2)，当limit = 1时，find()与find_all()结果相同。

5. 如何对付反爬虫？

增加头部信息headers。urllib2.Request()有三个参数，即urllib2(url, data, headers)，如何我们爬取网页时得不到响应，有可能是网站建立了反爬虫机制，我们需要增加头部信息，模拟浏览器来登录，从而成功获取所需要的数据。

三、实战：爬取豆瓣妹子的图片

#-*-coding: utf-8-*-

from bs4 import BeautifulSoup    #从网页抓取数据
import urllib2, urllib

def crawl(url):                                          #网站反爬虫，模拟浏览器访问，加上headers头部信息
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'}
    request = urllib2.Request(url, headers = headers)    #用url创建一个request对象
    response = urllib2.urlopen(request, timeout = 20)
    contents = response.read()                           #获取源码

    soup = BeautifulSoup(contents, 'html.parser')
    my_girl = soup.find_all('img')
    x = 0
    for girl in my_girl:
        link = girl.get('src')
        print link
        urllib.urlretrieve(link, 'E:\\image\\%s.jpg' %x) #urlretrieve是保存图片到本地
        x += 1
        

url = 'https://www.dbmeinv.com/?pager_offset=1'
crawl(url)