正则表达式本身也和python没有什么关系，就是匹配字符串内容的一种规则。官方定义：正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
正则表达式的验证网站：http://tool.chinaz.com/regex/
正则表达式的基本用法
字符组：
正则 |
匹配字符 |
匹配 |
说明 |
[0123456789] |
8 |
True |
在一个字符组里枚举合法的所有字符，字符组里的任意一个字符 |
[0123456789] |
a |
False |
由于字符组中没有"a"字符，所以不能匹配 |
[0-9] |
7 |
True |
也可以用-表示范围,[0-9]就和[0123456789]是一个意思 |
[a-z] |
s |
True |
同样的如果要匹配所有的小写字母，直接用[a-z]就可以表示 |
[A-Z] |
B |
True |
[A-Z]就表示所有的大写字母 |
[0-9a-fA-F] |
e |
True |
可以匹配数字，大小写形式的a～f，用来验证十六进制字符 |
字符：
元字符 |
匹配内容 |
| . | 匹配除换行符以外的任意字符 |
| \w | 匹配字母或数字或下划线 |
| \s | 匹配任意的空白符 |
| \d | 匹配数字 |
| \n | 匹配一个换行符 |
| \t | 匹配一个制表符 |
| \b | 匹配一个单词的结尾 |
| ^ | 匹配字符串的开始 |
| $ | 匹配字符串的结尾 |
| \W | 匹配非字母或数字或下划线 |
| \D | 匹配非数字 |
| \S | 匹配非空白符 |
| a|b | 匹配字符a或字符b |
| () | 匹配括号内的表达式，也表示一个组 |
| [...] | 匹配字符组中的字符 |
| [^...] | 匹配除了字符组中字符的所有字符 |
量词：
量词 |
用法说明 |
| * | 重复零次或更多次 |
| + | 重复一次或更多次 |
| ? | 重复零次或一次 |
| {n} | 重复n次 |
| {n,} | 重复n次或更多次 |
| {n,m} | 重复n到m次 |
正则表达式实例：
【. ^ $】
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| 海. | 海燕海娇海东 | 海燕海娇海东 | 匹配所有"海."的字符 |
| ^海. | 海燕海娇海东 | 海燕 | 只从开头匹配"海." |
| 海.$ | 海燕海娇海东 | 海东 | 只匹配结尾的"海.$" |
【 * + ? { } 】
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| 李.? | 李杰和李莲英和李二棍子 | 李杰 |
?表示重复零次或一次，即只匹配"李"后面一个任意字符 |
| 李.* | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 | *表示重复零次或多次，即匹配"李"后面0或多个任意字符 |
| 李.+ | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 | +表示重复一次或多次，即只匹配"李"后面1个或多个任意字符 |
| 李.{1,2} | 李杰和李莲英和李二棍子 | 李杰和 |
{1,2}匹配1到2次任意字符 |
注意：前面的*,+,?等都是贪婪匹配，也就是尽可能匹配，后面加?号使其变成惰性匹配
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| 李.*? | 李杰和李莲英和李二棍子 | 李 李 李 |
惰性匹配 |
字符集［］［^］
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| 李[杰莲英二棍子]* | 李杰和李莲英和李二棍子 | 李杰 |
表示匹配"李"字后面[杰莲英二棍子]的字符任意次 |
| 李[^和]* | 李杰和李莲英和李二棍子 | 李杰 |
表示匹配一个不是"和"的字符任意次 |
| [\d] | 456bdha3 | 4 |
表示匹配任意一个数字，匹配到4个结果 |
| [\d]+ | 456bdha3 | 456 |
表示匹配任意个数字，匹配到2个结果 |
分组 ()与 或 ｜［^］
#分组 ([abc][123])+ 在正则表达式里，需要对一个整体的式子，进行量词约束的时候就需要分组
#因为正则表达式的量词只能约束前面一个字符组，因此如果要约束多个字符组就需要用分组
身份证号码是一个长度为15或18个字符的字符串，如果是15位则全部????️数字组成，首位不能为0；如果是18位，则前17位全部是数字，末位可能是数字或x，下面我们尝试用正则来表示：
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| ^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 | 110101198001017032 |
表示可以匹配一个正确的身份证号 |
| ^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 | 1101011980010170 |
表示也可以匹配这串数字，但这并不是一个正确的身份证号码，它是一个16位的数字 |
| ^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 | False |
现在不会匹配错误的身份证号了 |
| ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ | 110105199812067023 | 110105199812067023 |
表示先匹配[1-9]\d{16}[0-9x]如果没有匹配上就匹配[1-9]\d{14} |
转义符 \
在正则表达式中，有很多有特殊意义的是元字符，比如\d和\s等，如果要在正则中匹配正常的"\d"而不是"数字"就需要对"\"进行转义，变成'\\'。
在python中，无论是正则表达式，还是待匹配的内容，都是以字符串的形式出现的，在字符串中\也有特殊的含义，本身还需要转义。所以如果匹配一次"\d",字符串中要写成'\\d'，那么正则里就要写成"\\\\d",这样就太麻烦了。这个时候我们就用到了r'\d'这个概念，此时的正则是r'\\d'就可以了。
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| \d | \d | False | 因为在正则表达式中\是有特殊意义的字符，所以要匹配\d本身，用表达式\d无法匹配 |
| \\d | \d | True | 转义\之后变成\\，即可匹配 |
| "\\\\d" | '\\d' | True | 如果在python中，字符串中的'\'也需要转义，所以每一个字符串'\'又需要转义一次 |
| r'\\d' | r'\d' | True | 在字符串之前加r，让整个字符串不转义 |
贪婪匹配
贪婪匹配：在满足匹配时，匹配尽可能长的字符串，默认情况下，采用贪婪匹配
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| <.*> | <script>...<script> |
<script>...<script> | 默认为贪婪匹配模式，会匹配尽量长的字符串 |
| <.*?> | r'\d' | <script> |
加上？为将贪婪匹配模式转为非贪婪匹配模式，会匹配尽量短的字符串
|
非贪婪匹配：
*? 重复任意次，但尽可能少重复
+? 重复1次或更多次，但尽可能少重复
?? 重复0次或1次，但尽可能少重复
{n,m}? 重复n到m次，但尽可能少重复
{n,}? 重复n次以上，但尽可能少重复
# .*? 的用法 . 是任意字符 * 是取 0 至 无限长度 ? 是非贪婪模式。 何在一起就是 取尽量少的任意字符，一般不会这么单独写，他大多用在： .*?x 就是取前面任意长度的字符，直到一个x出现
正则表达式碎碎念：
#1 正则表达式是从左到右依次匹配 比如 ab|abc 匹配了ab abc就不会匹配了，所以匹配长度较长的要放前面 #2 [A-Z]一个中括号表示只匹配一个值， 比如 [0-9] 只匹配0到9，可以匹配很多次，但是每次匹配都只匹配一个值， #\d{3} 匹配三个数字，这三数字一定要连在一起的 # ^[0-9][A-Z]$这样只匹配两个值， 不加起止符号 [0-9][A-Z] 这样会匹配所有的数字和大写字母，但每次只匹配两个值 # .* 默认算匹配到一次 #量词 都是先规则再量词，且这个量词仅匹配左边最近的规则，比如 [a-z]\d+ 只针对/b进行一次或 多次匹配 #^ 开始符 比如 ^a 就只匹配整篇文档的开头部分，有点像 startswith #$ （在英文状态下打出来） 海.$ 只匹配以 海% 结尾的字符， 海$.这样是匹配不到东西的 # a. 匹配所有类似 a.的字符串 类似 a% 没加量词其只能匹配 两个字符 #^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ 此处十八位一定要放前面，不然会出错 #其实正则表达式有个顺序 【匹配规则】【次数】【？惰性与否】 次数的话有【* + ? {} {n,} {n,m}】 不写就是一次 #<.*> 贪婪匹配，会把 < 往后的值全部找到，直到最后一个，然后再往回找 > 这中间的值就是我们这条正则表达式找到的，回溯匹配 #<.*?> 惰性匹配 它把 > 捏在手里，然后从 < 往后开始找，一旦找到 > 就马上返回 #写正则的时候，要注意别加空格，加空格正则以为你要匹配空格 #？ 问号的集中意思 1表示量词 2表示惰性匹配 3,python中 ?P的使用 4,python中取消分组优先 import re s = '350524199903280533' res = re.search('(?P<province>\d{6})(?P<Birth>\d{8})(?P<ID>\d{4})',s).groupdict() print(res) #>>>>> {'province': '350524', 'Birth': '19990328', 'ID': '0533'} #取消分组优先 ret = re.findall('www.(baidu|oldboy).com','www.oldboy.com') print(ret) ret = re.findall('www.(?:baidu|oldboy).com','www.oldboy.com') print(ret) #关于转义，对于正则表达式中，如果需要匹配 元字符，量词 这些特殊字符就需要 用 \ 进行转义 比如 \* 表示单纯要寻找 星号 #但是如果是在字符组中 [*] 这样子直接表示匹配 * 号，因为字符组里不放量词，但是元字符则还是要转义的 #在python中 re.findall(r'*',str) 可以直接在前面加个小写 r 就代表转义
减号 [-]写在字符组首位，表示减号本身，[0-9]写成这样表示范围
re模块常用实例
import re # ret = re.findall('c','eva egon gka') #查找字符串中所有的a，并返回为一个列表，第一个参数中为正则，第二个参数为字符串 # print(ret) #若查找为空，返回空列表 ret2 = re.search('e','eva egon1 gka') #从前往后，匹配到一个就返回，返回一个对象，需要用group()方法才能调用 print(ret2) #>>>>>> <_sre.SRE_Match object; span=(0, 1), match='e'> #没找到返回none，但是None不能调用group，会报错 ret2_2 = ret2.group() print(ret2_2) #>>>>> e #一般这么用： # if ret2: # print(ret2.group()) ret3 = re.match('[a-z]+','eva egon1 gka') #从头开始匹配，必须是从头，知道到一个就返回，返回一个对象，需要用group()方法才能调用 if ret3: #没找到返回none，但是None不能调用group，会报错 print(ret3.group()) #>>>>> eva ret4 = re.split('[ab]','abcd') #先按a分割得到 ['','bcd'] ，再按b分割得到['','','cd'] print(ret4) #>>>>>>> ['', '', 'cd'] ret5 = re.sub('\d','H','sldjfoi12sdg54sdfa',1) #类似字符串的replace print(ret5) #>>>> sldjfoiH2sdg54sdfa ret6 = re.subn('\d','H','sldjfoi12sdg54sdfa') #把替换了几次标出来 print(ret6) #>>>>>> ('sldjfoiHHsdgHHsdfa', 4) 【（替换的结果，替换了几次）】 obj = re.compile('\d{3}') #将正则表达式编译成为一个 正则表达式对象，规则要匹配的是3个数字 ret = obj.search('abc123eeee') #正则表达式对象调用search，参数为待匹配的字符串 print(ret.group()) # ?P<> 给分组命名 s = '350524199903280533' res = re.search('(?P<province>\d{6})(?P<Birth>\d{8})(?P<ID>\d{4})',s) print(res.groupdict()) #>>>>> {'province': '350524', 'Birth': '19990328', 'ID': '0533'} print(res.group('province')) #也可以这样取值 ret7 = re.finditer('\d','ds3sy4784a') #finditer 返回一个存放匹配结果的迭代器 print(ret7) #<callable_iterator object at 0x0000022D51A1D7F0> 迭代器 print(next(ret7).group()) print(next(ret7).group()) print([i.group() for i in ret7])
小结：匹配完需要用group调用的方法有：search，match，finditer
#1 findall的优先级查询： ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['oldboy'] 这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com') #取消分组优先 print(ret) # ['www.oldboy.com'] #2 split的优先级查询 ret=re.split("\d+","eva3egon4yuan") print(ret) #结果 ： ['eva', 'egon', 'yuan'] ret=re.split("(\d+)","eva3egon4yuan") print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan'] #在匹配部分加上（）之后所切出的结果是不同的， #没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项， #这个在某些需要保留匹配部分的使用过程是非常重要的。 #分组用group提取 ret = re.search('^[1-9](\d{14})(\d{2}[0-9x])?$','350524199908280522') print(ret.group()) print(ret.group(1)) print(ret.group(2))
关于这些方法中的flags【注意split的坑】
flags有很多可选值： re.I(IGNORECASE)忽略大小写，括号内是完整的写法 re.M(MULTILINE)多行模式，改变^和$的行为 re.S(DOTALL)点可以匹配任意字符，包括换行符 re.L(LOCALE)做本地化识别的匹配，表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境，不推荐使用 re.U(UNICODE) 使用\w \W \s \S \d \D使用取决于unicode定义的字符属性。在python3中默认使用该flag re.X(VERBOSE)冗长模式，该模式下pattern字符串可以是多行的，忽略空白字符，并可以添加注释 #其中re.S是最常用的 import re a = 'my \nname \nis gkx' ret = re.findall('.+',a,re.S)
# 对于findall,search,match,finditer来说 flags在第三个参数，故可以用位置参数传值，对于sub，subn，split falgs不在第三个参数，需要用关键字参数传值 flags=re.S print(ret) #>>>>> ['my \nname \nis gkx'] #因为加了flags所以此处会把换行符也匹配出来，整个字符串就是一个元素 ret2 = re.findall('.+',a) print(ret2) #>>>>> ['my ', 'name ', 'is gkx'] #因为【.】匹配换行符以外所有元素，所以换行符不匹配，这个str就变为匹配了三个元素
re模块的一些练习：
对于用 ?P<> 命名后的匹配组，可以在另一个组引用这个命名，从而来匹配一模一样的值。比如可以用在网页源代码 匹配 <div> </div>
import re ret = re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>") #还可以在分组中利用?P<name>的形式给分组起名字 #获取的匹配结果可以直接用group('名字')拿到对应的值 #此处后面的(?P=tag_name)意思是在这里匹配和前面tag_name一模一样的值 print(ret.group('tag_name')) #结果 ：h1 print(ret.group()) #结果 ：<h1>hello</h1> ret = re.search(r"<(\w+)>\w+</\1>","<h1>hello</h1>") #如果不给组起名字，也可以用\序号来找到对应的组，表示要找的内容和前面的组内容一致 #获取的匹配结果可以直接用group(序号)拿到对应的值 print(ret.group(1)) print(ret.group()) #结果 ：<h1>hello</h1>
我们在做正则表达式的时候，有时候匹配完，我们还需要利用字符串的操作，列表的操作等，对结果进行完善
import re ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))") print(ret) #['1', '2', '60', '40', '35', '5', '4', '3'] ret=re.findall(r"-?\d+\.\d*|(-?\d+)","1-2*(60+(-40.35/5)-(-4*3))") print(ret) #['1', '-2', '60', '', '5', '-4', '3'] ret.remove("") print(ret) #['1', '-2', '60', '5', '-4', '3']
1、 匹配一段文本中的每行的邮箱 http://blog.csdn.net/make164492212/article/details/51656638 2、 匹配一段文本中的每行的时间字符串，比如：‘1990-07-12’； 分别取出1年的12个月（^(0?[1-9]|1[0-2])$）、 一个月的31天：^((0?[1-9])|((1|2)[0-9])|30|31)$ 3、 匹配qq号。(腾讯QQ号从10000开始) ［1,9］[0,9]{4,} 4、 匹配一个浮点数。 ^(-?\d+)(\.\d+)?$ 或者 -?\d+\.?\d* 5、 匹配汉字。 ^[\u4e00-\u9fa5]{0,}$ 6、 匹配出所有整数
import requests import re import json def getPage(url): response=requests.get(url) return response.text def parsePage(s): com=re.compile('<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>' '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>',re.S) ret=com.finditer(s) for i in ret: yield { "id":i.group("id"), "title":i.group("title"), "rating_num":i.group("rating_num"), "comment_num":i.group("comment_num"), } def main(num): url='https://movie.douban.com/top250?start=%s&filter='%num response_html=getPage(url) ret=parsePage(response_html) print(ret) f=open("move_info7","a",encoding="utf8") for obj in ret: print(obj) data=json.dumps(obj,ensure_ascii=False) f.write(data+"\n") if __name__ == '__main__': count=0 for i in range(10): main(count) count+=25 复制代码 简化版 复制代码 flags有很多可选值： re.I(IGNORECASE)忽略大小写，括号内是完整的写法 re.M(MULTILINE)多行模式，改变^和$的行为 re.S(DOTALL)点可以匹配任意字符，包括换行符 re.L(LOCALE)做本地化识别的匹配，表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境，不推荐使用 re.U(UNICODE) 使用\w \W \s \S \d \D使用取决于unicode定义的字符属性。在python3中默认使用该flag re.X(VERBOSE)冗长模式，该模式下pattern字符串可以是多行的，忽略空白字符，并可以添加注释
re模块中的转义字符
import re obj = re.compile(r'\d{3}') 此处去掉转义字符r结果也是123 ret = obj.search('abc123eeee') print(ret.group()) #>>> 123 w = re.findall('\btina','tian tinaaaa') #未匹配到相关字符 print(w) s = re.findall(r'\btina','tian tinaaaa') #加了转义字符 ‘r’ 匹配到了想要的字符串 print(s) v = re.findall(r'\btina','tian#tinaaaa') # \b是匹配单词的边界，一般是指空格或者换行符，但是此处 特殊字符 # @ ！ 好像也算是边界 print(v) a = re.findall(r'\btina\b','tian#tina@aaa') print(a) 执行结果如下： [] ['tina'] ['tina'] ['tina']
总结如下：
对于 compile,findall,search,match,sub,subn,finditer,split来说 在正则表达式前加转义字符 ‘r’都是不会报错的
如果不加转义字符 'r'，对于\d \w \s 这些在python中没特殊含义的字符，也不会报错
但是如果是 类似 \b python中已经有含义（表示空格），那么在用re模块的时候，要先进行转义才能正常使用正则表达式
https://www.cnblogs.com/tina-python/p/5508402.html 很详细的re模块
http://www.cnblogs.com/Eva-J/articles/7228075.html#_label10 摘抄自景老师博客