Python爬虫（三）——正则表达式

一、正则表达式

　　之所以叫正则表达式，是因为它们可以识别正则字符串（ regular string）；也就是说，它们可以这么定义：“ 如果你给我的字符串符合规则，我就返回它”，或者是“如果字符串不符合规则，我就忽略它”。这在要求快速浏览大文档，以查找像电话号码和邮箱地址之类的字符串时是非常方便的。

　　在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要。正则表达式就是用于描述这些规则的工具。换句话说，正则表达式就是记录文本规则的代码。

　　正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。如果已经在其他语言里使用过正则表达式，只需要简单看一看就可以上手了。

Python爬虫（三）——正则表达式

图1，正则表达式的处理过程

二、正则表达式的规则

　　 Python爬虫（三）——正则表达式

图2，正则表达式规则

三、python RE模块

　　re 模块使 Python 语言拥有全部的正则表达式功能。compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。

　　3.1 re.match 函数

　　re.match 尝试从字符串的开始匹配一个模式。语法：

re.match(pattern, string, flags=0)

　　参数说明：

pattern——匹配的正则表达式
string ——要匹配的字符串
flags——标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

　　匹配成功re.match方法返回一个匹配的对象，否则返回None。

　　我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

匹配对象方法	描述
group(num=0)	匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
groups()	返回一个包含所有小组字符串的元组，从 1 到所含的小组号。

　　实例：　　

import re

line = "Cats are smarter than dogs"

matchObj = re.match( r'(.*) are (.*?) .*', line, re.M|re.I)

if matchObj:
   print "matchObj.group() : ", matchObj.group()
   print "matchObj.group(1) : ", matchObj.group(1)
   print "matchObj.group(2) : ", matchObj.group(2)
else:
   print "No match!!"

　　输出结果：

matchObj.group() :  Cats are smarter than dogs
matchObj.group(1) :  Cats
matchObj.group(2) :  smarter

　　3.2 re.research方法

　　search方法与match方法极其类似，区别在于match()函数只检测re是不是在string的开始位置匹配，search()会扫描整个string查找匹配，match（）只有在0位置匹配成功的话才有返回，如果不是开始位置匹配成功的话，match()就返回None。同样，search方法的返回对象同样match()返回对象的方法和属性。

　　　语法：　　　

re.search(pattern, string, flags=0)

　　参数说明同上，返回一个匹配对象，没有则返回none。例子：

#导入re模块
import re
 
# 将正则表达式编译成Pattern对象
pattern = re.compile(r'world')
# 使用search()查找匹配的子串，不存在能匹配的子串时将返回None
# 这个例子中使用match()无法成功匹配
match = re.search(pattern,'hello world!')
if match:
    # 使用Match获得分组信息
    print match.group()
### 输出 ###
# world

　　3.3 re.split

　　re.split(pattern, string[, maxsplit])，按照能够匹配的子串将string分割后返回列表。maxsplit用于指定最大分割次数，不指定将全部分割。　

import re
 
pattern = re.compile(r'\d+')
print re.split(pattern,'one1two2three3four4')
 
### 输出 ###
# ['one', 'two', 'three', 'four', '']

　　3.4 re.findall(pattern, string[, flags])

　　搜索string，以列表形式返回全部能匹配的子串。

四、一些常用的正则表达式

　　检验数字：

1 数字：

^[0-9]*$

2 n位的数字：

^\d{n}$

3 至少n位的数字：

^\d{n,}$

4 m-n位的数字：

^\d{m,n}$

5 零和非零开头的数字：

^(0|[1-9][0-9]*)$

6 非零开头的最多带两位小数的数字：

^([1-9][0-9]*)+(.[0-9]{1,2})?$

7 带1-2位小数的正数或负数：

^(\-)?\d+(\.\d{1,2})?$

8 正数、负数、和小数：

^(\-|\+)?\d+(\.\d+)?$

9 有两位小数的正实数：

^[0-9]+(.[0-9]{2})?$

10 有1~3位小数的正实数：

^[0-9]+(.[0-9]{1,3})?$

11 非零的正整数：

^[1-9]\d*$ 
或 
^([1-9][0-9]*){1,3}$ 或 ^\+?[1-9][0-9]*$

12 非零的负整数：

^\-[1-9][]0-9"*$ 或 ^-[1-9]\d*$

13 非负整数：

^\d+$ 
或
^[1-9]\d*|0$

14 非正整数：

^-[1-9]\d*|0$ 或 ^((-\d+)|(0+))$

15 非负浮点数：

^\d+(\.\d+)?$ 
或
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$

16 非正浮点数：

^((-\d+(\.\d+)?)|(0+(\.0+)?))$ 或 ^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$

17 正浮点数：

^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ 或 ^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$

18 负浮点数：

^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ 或 ^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$

19 浮点数：

^(-?\d+)(\.\d+)?$ 或 ^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$

　　校验字符表达式：

1 汉字：

^[\u4e00-\u9fa5]{0,}$

2 英文和数字：

^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]{4,40}$

3 长度为3-20的所有字符：

^.{3,20}$

4 由26个英文字母组成的字符串：

^[A-Za-z]+$

5 由26个大写英文字母组成的字符串：

^[A-Z]+$

6 由26个小写英文字母组成的字符串：

^[a-z]+$

7 由数字和26个英文字母组成的字符串：

^[A-Za-z0-9]+$

8 由数字、26个英文字母或者下划线组成的字符串：

^\w+$ 
或 
^\w{3,20}$

9 中文、英文、数字包括下划线：

^[\u4E00-\u9FA5A-Za-z0-9_]+$

10 中文、英文、数字但不包括下划线等符号：

^[\u4E00-\u9FA5A-Za-z0-9]+$ 或 ^[\u4E00-\u9FA5A-Za-z0-9]{2,20}$

11 可以输入含有^%&',;=?$\"等字符

：[^%&',;=?$\x22]+

12 禁止输入含有~的字符：

[^~\x22]+

　　特殊需求表达式

1 Email地址：

^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$

2 域名：

[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?

3 InternetURL：

[a-zA-z]+://[^\s]* 或 ^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$

4 手机号码：

^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$

5 电话号码("XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX)：

^(\(\d{3,4}-)|\d{3.4}-)?\d{7,8}$

6 国内电话号码(0511-4405222、021-87888822)：

\d{3}-\d{8}|\d{4}-\d{7}

7 身份证号(15位、18位数字)：

^\d{15}|\d{18}$

8 短身份证号码(数字、字母x结尾)：

^([0-9]){7,18}(x|X)?$ 或 ^\d{8,18}|[0-9x]{8,18}|[0-9X]{8,18}?$

9 帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：

^[a-zA-Z][a-zA-Z0-9_]{4,15}$

10 密码(以字母开头，长度在6~18之间，只能包含字母、数字和下划线)：

^[a-zA-Z]\w{5,17}$

11 强密码(必须包含大小写字母和数字的组合，不能使用特殊字符，长度在8-10之间)：

^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$

12 日期格式：

^\d{4}-\d{1,2}-\d{1,2}

13 一年的12个月(01～09和1～12)：

^(0?[1-9]|1[0-2])$

14 一个月的31天(01～09和1～31)：

^((0?[1-9])|((1|2)[0-9])|30|31)$

15 钱的输入格式：

1.有四种钱的表示形式我们可以接受:"10000.00" 和 "10,000.00", 和没有 "分" 的 "10000" 和 "10,000"：
```
^[1-9][0-9]*$ 
```
2.这表示任意一个不以0开头的数字,但是,这也意味着一个字符"0"不通过,所以我们采用下面的形式：
```
^(0|[1-9][0-9]*)$ 
```
3.一个0或者一个不以0开头的数字.我们还可以允许开头有一个负号：
```
^(0|-?[1-9][0-9]*)$ 
```
4.这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,因为钱总不能是负的吧.下面我们要加的是说明可能的小数部分：
```
^[0-9]+(.[0-9]+)?$ 
```
5.必须说明的是,小数点后面至少应该有1位数,所以"10."是不通过的,但是 "10" 和 "10.2" 是通过的：
```
^[0-9]+(.[0-9]{2})?$ 
```
6.这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样：
```
^[0-9]+(.[0-9]{1,2})?$ 
```
7.这样就允许用户只写一位小数.下面我们该考虑数字中的逗号了,我们可以这样：
```
^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$ 
```
8.1到3个数字,后面跟着任意个逗号+3个数字,逗号成为可选,而不是必须：
```
^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
```
备注：这就是最终结果了,别忘了"+"可以用"*"替代如果你觉得空字符串也可以接受的话(奇怪,为什么?)最后,别忘了在用函数时去掉去掉那个反斜杠,一般的错误都在这里

16 xml文件：

^([a-zA-Z]+-?)+[a-zA-Z0-9]+\\.[x|X][m|M][l|L]$

17 中文字符的正则表达式：

[\u4e00-\u9fa5]

18 双字节字符：

[^\x00-\xff] (包括汉字在内，可以用来计算字符串的长度(一个双字节字符长度计2，ASCII字符计1))

19 空白行的正则表达式：

\n\s*\r    (可以用来删除空白行)

20 HTML标记的正则表达式：

<(\S*?)[^>]*>.*?</\1>|<.*? /> (网上流传的版本太糟糕，上面这个也仅仅能部分，对于复杂的嵌套标记依旧无能为力)

21 首尾空白字符的正则表达式：

^\s*|\s*$ 或 (^\s*)|(\s*$) (可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式)

22 腾讯QQ号：

[1-9][0-9]{4,} (腾讯QQ号从10000开始)

23 中国邮政编码：

[1-9]\d{5}(?!\d)    (中国邮政编码为6位数字)

24 IP地址：

\d+\.\d+\.\d+\.\d+    (提取IP地址时有用)

25 IP地址：

((?:(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d)\\.){3}(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d))

五、参考文档：

http://www.cnblogs.com/zxin/archive/2013/01/26/2877765.html
http://cuiqingcai.com/977.html
https://wizardforcel.gitbooks.io/w3school-python/content/25.html

秒客网

Python爬虫（三）——正则表达式

一、正则表达式

二、正则表达式的规则

三、python RE模块

3.1 re.match 函数

3.2 re.research方法

3.3 re.split

3.4 re.findall(pattern, string[, flags])

四、一些常用的正则表达式

检验数字：

校验字符表达式：

特殊需求表达式

五、参考文档：

相关文章