练习下BeautifulSoup，requests库，用python3.3 写了一个简易的豆瓣小爬虫，将爬取的信息在控制台输出并且写入文件中。
上源码：
1 # coding = utf-8
2 '''my words
3 基于python3 需要的库 requests BeautifulSoup
4 这个爬虫很基本，没有采用任何的爬虫框架，用requests,BeautifulSoup,re等库。
5 这个爬虫的基本功能是爬取豆瓣各个类型的书籍的信息：作者，出版社，豆瓣评分，评分人数，出版时间等信息。
6 不能保证爬取到的信息都是正确的，可能有误。
7 也可以把爬取到的书籍信息存放在数据库中，这里只是输出到控制台。
8 爬取到的信息存储在文本txt中。
9 '''
10
11 import requests
12 from bs4 import BeautifulSoup
13 import re
14
15 #爬取豆瓣所有的标签分类页面，并且提供每一个标签页面的URL
16 def provide_url():
17 # 以http的get方式请求豆瓣页面（豆瓣的分类标签页面）
18 responds = requests.get("https://book.douban.com/tag/?icn=index-nav")
19 # html为获得响应的页面内容
20 html = responds.text
21 # 解析页面
22 soup = BeautifulSoup(html, "lxml")
23 # 选取页面中的需要的a标签，从而提取出其中的所有链接
24 book_table = soup.select("#content > div > .article > div > div > .tagCol > tbody > tr > td > a")
25 # 新建一个列表来存放爬取到的所有链接
26 book_url_list = []
27 for book in book_table:
28 book_url_list.append('https://book.douban.com/tag/' + str(book.string))
29 return book_url_list
30
31 #获得评分人数的函数
32 def get_person(person):
33 person = person.get_text().split()[0]
34 person = re.findall(r'[0-9]+',person)
35 return person
36
37 #当detail分为四段时候的获得价格函数
38 def get_rmb_price1(detail):
39 price = detail.get_text().split('/',4)[-1].split()
40 if re.match("USD", price[0]):
41 price = float(price[1]) * 6
42 elif re.match("CNY", price[0]):
43 price = price[1]
44 elif re.match("\A$", price[0]):
45 price = float(price[1:len(price)]) * 6
46 else:
47 price = price[0]
48 return price
49
50 #当detail分为三段时候的获得价格函数
51 def get_rmb_price2(detail):
52 price = detail.get_text().split('/',3)[-1].split()
53 if re.match("USD", price[0]):
54 price = float(price[1]) * 6
55 elif re.match("CNY", price[0]):
56 price = price[1]
57 elif re.match("\A$", price[0]):
58 price = float(price[1:len(price)]) * 6
59 else:
60 price = price[0]
61 return price
62
63 #测试输出函数
64 def test_print(name,author,intepretor,publish,time,price,score,person):
65 print('name: ',name)
66 print('author:', author)
67 print('intepretor: ',intepretor)
68 print('publish: ',publish)
69 print('time: ',time)
70 print('price: ',price)
71 print('score: ',score)
72 print('person: ',person)
73
74
75
76
77 #解析每个页面获得其中需要信息的函数
78 def get_url_content(url):
79 res = requests.get(url)
80 html = res.text
81 soup = BeautifulSoup(html.encode('utf-8'),"lxml")
82 tag = url.split("?")[0].split("/")[-1] #页面标签，就是页面链接中'tag/'后面的字符串
83 titles = soup.select(".subject-list > .subject-item > .info > h2 > a") #包含书名的a标签
84 details = soup.select(".subject-list > .subject-item > .info > .pub") #包含书的作者，出版社等信息的div标签
85 scores = soup.select(".subject-list > .subject-item > .info > div > .rating_nums") #包含评分的span标签
86 persons = soup.select(".subject-list > .subject-item > .info > div > .pl") #包含评价人数的span标签
87
88 print("*******************这是 %s 类的书籍**********************" %tag)
89
90 #打开文件，将信息写入文件
91 file = open("C:/Users/lenovo/Desktop/book_info.txt",'a') #可以更改为你自己的文件地址
92 file.write("*******************这是 %s 类的书籍**********************" % tag)
93
94 #用zip函数将相应的信息以元祖的形式组织在一起，以供后面遍历
95 for title,detail,score,person in zip(titles,details,scores,persons):
96 try:#detail可以分成四段
97 name = title.get_text().split()[0] #书名
98 author = detail.get_text().split('/',4)[0].split()[0] #作者
99 intepretor = detail.get_text().split('/',4)[1] #译者
100 publish = detail.get_text().split('/',4)[2] #出版社
101 time = detail.get_text().split('/',4)[3].split()[0].split('-')[0] #出版年份，只输出年
102 price = get_rmb_price1(detail) #获取价格
103 score = score.get_text() if True else "" #如果没有评分就置空
104 person = get_person(person) #获得评分人数
105 #在控制台测试打印
106 test_print(name,author,intepretor,publish,time,price,score,person)
107 #将书籍信息写入txt文件
108 try:
109 file.write('name: %s ' % name)
110 file.write('author: %s ' % author)
111 file.write('intepretor: %s ' % intepretor)
112 file.write('publish: %s ' % publish)
113 file.write('time: %s ' % time)
114 file.write('price: %s ' % price)
115 file.write('score: %s ' % score)
116 file.write('person: %s ' % person)
117 file.write('\n')
118 except (IndentationError,UnicodeEncodeError):
119 continue
120
121 except IndexError:
122 try:#detail可以分成三段
123 name = title.get_text().split()[0] # 书名
124 author = detail.get_text().split('/', 3)[0].split()[0] # 作者
125 intepretor = "" # 译者
126 publish = detail.get_text().split('/', 3)[1] # 出版社
127 time = detail.get_text().split('/', 3)[2].split()[0].split('-')[0] # 出版年份，只输出年
128 price = get_rmb_price2(detail) # 获取价格
129 score = score.get_text() if True else "" # 如果没有评分就置空
130 person = get_person(person) # 获得评分人数
131 #在控制台测试打印
132 test_print(name, author, intepretor, publish, time, price, score, person)
133 #将书籍信息写入txt文件
134 try:
135 file.write('name: %s ' % name)
136 file.write('author: %s ' % author)
137 file.write('intepretor: %s ' % intepretor)
138 file.write('publish: %s ' % publish)
139 file.write('time: %s ' % time)
140 file.write('price: %s ' % price)
141 file.write('score: %s ' % score)
142 file.write('person: %s ' % person)
143 file.write('\n')
144 except (IndentationError, UnicodeEncodeError):
145 continue
146
147 except (IndexError,TypeError):
148 continue
149
150 except TypeError:
151 continue
152 file
153
154 file.write('\n')
155 file.close() #关闭文件
156
157
158 #程序执行入口
159 if __name__ == '__main__':
160 #url = "https://book.douban.com/tag/程序"
161 book_url_list = provide_url() #存放豆瓣所有分类标签页URL的列表
162 for url in book_url_list:
163 get_url_content(url) #解析每一个URL的内容
下面是效果图：