python爬虫学习(1) —— 从urllib说起

时间：2022-09-05 11:09:27

0. 前言

如果你从来没有接触过爬虫，刚开始的时候可能会有些许吃力

因为我不会从头到尾把所有知识点都说一遍，很多文章主要是记录我自己写的一些爬虫

所以建议先学习一下cuiqingcai大神的 Python爬虫学习系列教程 的入门部分。

它的整个系列教程我觉得写得非常好，值得一看！

当然，即便是你什么都不会，也没关系。

只要有一颗上进的心，没什么是学不会的。

希望我的文章能给你些许帮助！

1. 扒下一个网页

什么都不讲，直接上一段代码

import urllib2

html = urllib2.urlopen( 'http://music.163.com/' )

print html.read()

我们将其保存为 test.py, 通过 python test.py 运行该代码,可以看见终端下出现了网易云音乐主页的html源代码，是的，我们把它扒下来了。

python爬虫学习(1) —— 从urllib说起

别急，我们把代码改一下

import urllib2

response = urllib2.urlopen( 'http://music.163.com/' )

html = response.read()

open( 'test.html',"w").write(html)

执行该代码后，当前目录下会出现一个 test.html 文件，是的，我们把网页保存下来了。

2. urllib2库

下面我们来分析一下上面的代码

首先，我们将urllib2模块导入，以便后续使用

可以看到我们调用了一个名为urlopen()的方法，它一般接受三个参数，方法执行后，返回一个response对象,具体定义如下：

def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT):

第一个参数url即为网页的URL

第二个参数data是访问URL时要传送的数据

第三个参数timeout是设置超时时间

第二和第三个参数在不传的情况下使用的是默认值None和socket._GLOBAL_DEFAULT_TIMEOUT

第一个参数url是必须要传的，这里我们传的是网易云音乐的URL。

在我们获取到的页面信息，就存放在response对象中，我们再通过调用read()方法，它可以返回网页的内容。

最后，我们再使用文件读写操作，将页面内容保存在test.html中，这样，我们就成功扒取了网易云音乐的主页内容。

3. URI 和 URL

首先你需要明白一个简单的问题，我们在浏览器地址栏一般值输入：www.baidu.com

但实际上，百度的URL应该是:https://www.baidu.com/

这就是我们所要理解的统一资源定位器URL(Uniform Resoure Locator)，基本的URL地址包含三个部分：

  1. 协议：客户与服务器之间所使用的通信协议
  2. 主机标识：存放信息的服务器地址
  3. 文件名：存放信息的路径和文件名

    可以看到 http://tieba.baidu.com/f?kw=acm&fr=index就是一个典型的URL

    另外，还要清楚一个概念，URL是URI的一个子集，URI包括了URL和URN，如果你对概念有些模糊，参考 这里。

4. GET 和 POST

在客户机和服务器之间进行请求-响应时，两种最常被用到的方法是：GET 和 POST。

  • GET 从指定的资源请求数据。
  • POST 向指定的资源提交要被处理的数据

这两个请求方式很重要，你可以事先在度娘或者谷哥那里了解一下

简单来讲，可以这样理解：

get是从服务器上获取数据，post是向服务器传送数据

5. 必要的分析

想要爬取特定的信息或是数据，还需要对指定的网页进行分析，这也就涉及到了抓包工具以及正则表达式的使用，这些以后都会讲到。

6. 一个简短的例子

import urllib2

import re # 正则表达式所用到的库

# 我们所要下载的图片所在网址

url = 'http://desk.zol.com.cn/bizhi/6377_78500_2.html'

response = urllib2.urlopen(url)

# 获取网页内容

html = response.read() 

# 确定一个正则表达式，用来找到图片的所在地址

reg = re.compile(r'<img id="bigImg" src="(.*?jpg)" .*>');

imgurl = reg.findall(html)[0]

# 打开图片并保存为haha.jpg

imgsrc = urllib2.urlopen(imgurl).read()

open("haha.jpg","w").write(imgsrc)

python爬虫学习(1) —— 从urllib说起

上面简短的代码片段，功能是下载ZOL桌面壁纸网站上某个指定图片。

其中用到了我们前面介绍的urlopen，open等方法，当然，还用到了一个和正则表达式有关的类库，你可以尝试着自己写一个demo，扒一下某个知名的或者不知名的网站。

这篇文章就到这里，以后的文章都以具体的例子展开，空讲理论不适合我。

Q: 如何入门爬虫？

A: 请直接上路！

相关文章