Python制作简单的网页爬虫

时间：2022-10-09 08:20:38

1.准备工作：

工欲善其事必先利其器，因此我们有必要在进行Coding前先配置一个适合我们自己的开发环境，我搭建的开发环境是：

操作系统：Ubuntu 14.04 LTS
Python版本：2.7.6
代码编辑器：Sublime Text 3.0

这次的网络爬虫需求背景我打算延续DotNet开源大本营在他的那篇文章中的需求，这里就不再详解。我们只抓取某一省中所有主要城市从2015-11-22到2015-10-24的白天到夜间的所有天气情况。这里以湖北省为例。
2.实战网页爬虫：
2.1.获取城市列表：
首先，我们需要获取到湖北省所有城市的网页，然后进行网页解析。网络地址为：http://www.tianqihoubao.com/weather/province.aspx?id=420000
我们查看该网页的源码可以发现所有的城市列表都是以<td style="height: 22px" align="center"><a href="城市天气链接+城市名称">，因此，我们可以封装一个函数来通过使用正则表达式获取我们想要的数据，示例代码如下所示：

复制代码 代码如下:
def  ShowCity():
    html=requests.get("http://www.tianqihoubao.com/weather/province.aspx?id=420000")
    citys= re.findall('<td style="height: 22px" align="center"><a href="(.*?)">', html.text,re.S)
    for city in citys:
        print city


抓取的结果如下所示：

 

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
1 top/anlu.html" id="codetool">
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
def ShowWeather(city):
 res =str(city).split('" id="codetool">

这样以来，我们就可以获取到了对应城市的天气情况了！！

完整代码：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
#coding:UTF-8
import re
import requests
import sys
reload(sys)
sys.setdefaultencoding('UTF-8')
 
def ShowWeather(city):
 res =str(city).split('" id="codetool">

是的，你没有看错，短短34行代码就可以爬取湖北省所有的主要城市1个月的所有天气情况，是不是很厉害呀！！？？？不过不要高兴的太早，凡事有利有弊，看看它的运行结果吧：[Finished in 371.8s]

3.知识总结：　　

3.1.编码问题：　
#在ubuntu上，由于编码问题，我们需要在代码的开始位置添加一行注释，告诉Pyhton解释器我们指定的编码格式：

#此外，我们还需要设置默认的编码格式，否则Sublime Text会无法识别中文，报告一个错误：“UnicodeEncodeError: 'ascii' codec can't encode characters in position”

?
1
2
3
4
#-*-coding:utf8-*-
import sys
reload(sys)
sys.setdefaultencoding('UTF-8')

3.2.正则表达式：

导入正则表达式库：import re
匹配任意字符：.
匹配前一个字符0次或无限次:*
匹配前一个字符0次或一次：？
贪心算法：.*
非贪心算法：.*?
匹配数字：(\d+)
常用函数：

?
1
2
3
re.findall(pattern, string)
re.search(pattern, string)
re.sub(pattern, repl, string)

最后的最后，如果你尝试过运行我贴出来的完整代码，或许你会遇到和我一样的瓶颈，就是运行的速度不够快（尤其像我这种机器配置不是很好的电脑）。在我的机器上运行这段脚本总共花费了 371.8s。我运行过多次，每次都是在350+。因此，如果你的程序不在乎运行速度，那么可能Python还是挺适合的，毕竟可以通过它写更少的代码去做更多的事情！！！！

  • Python
  • 网页爬虫

    • 延伸 · 阅读

    精彩推荐
    最近更新
    编辑推荐
    阅读排行
    热门标签
    2048 　 contextlib 　 SLOTS 　 MELIAE 　 FEEDPARSER 　 暂存 　 持久性管理 　 pickle模块 　 THREADING 　 reduce 　 nignx 　 装饰器 　 函数式编程 　 兔子毒药 　 监控文件 　 流量监控 　 动态解析域名 　 网页爬虫 　 Web框架 　 自定义编码 　 PIL库 　 高斯模糊 　 wxPython 　 import 　 自定义模块 　 Python开发 　 元类 　 metaclass 　 魔术方法 　 DNSPod 　
    © 2019-2020 脚本之家 | 服务器之家(www.zzvips.com)旗下站点 版权所有关于我们联系我们版权申明网站地图
    标签：

    相关文章