昨天 2018 年 01 月 31 日，农历腊月十五日。20:00 左右，152 年一遇的月全食、血月、蓝月将今晚呈现空中，虽然没有看到蓝月亮，血月、月全食也是勉强可以了，还是可以想像一下一瓶蓝月亮洗衣液悬于空上，耳边是"大家好，我是渣渣灰，给大家推荐一款好玩的游戏--贪玩蓝月......" 22:00左右的样子，月亮已经出来了，坐下来写写博客啦。
对计算机程序员而言，要问当下前沿什么方向最流行？我想在大数据、云计算、人工智能这些方向中，目前位于翘楚的就是大AL(人工智能了)，一种产品的流行总是会带动其依赖品的流行。说的就是 Python 语言，近几年的势头Python越Java座于编程语言首位。Python流行不仅是因为人工智能机器学习的支持，其自身也是有原因的，Python语言学习起来很容易、易懂，这不小学课堂都开Python课了么。Python又被称为"胶水语言"，与其它的语言的兼容性很好。这也让不少程序员转向了Python，更何况当前的人工智能时代即将来临。
我最近也在学习Python，说到学习Python极大可能会接触到 爬虫 。关于爬虫，通俗说就是抓取网上数据的机器。涉及到爬虫，就与本文的点 正则表达式 就是分不开了。
正则表达式:又称为规则表达式，百度百科解释其为通常被用来检索、替换那些符合某个模式(规则)的文本。这就有点像那些暴力破解密码的软件，通过字典一个个组合进行破解。这也是挺考验计算机运算能力的.
关于Python正则表达式的知识，我也是从视频中学习来的。不知道全面否，大家可以进行评论补充。
正则表达式有以下特殊字符:
1) ^ . $ * ? + {2} {2, } {2, 5}
2) [] [^] [a-z] | ()
3) \s \S \w \W
4) [\u4E00-\u9FA5] \d
我将对每个符号进行讲解，并举以实例。
打开 Eclipse+Pydev、Pycharm 等可以写Python的IDE(集成开发环境)，本人就以 Eclipse+Pydev 配置为例。
Eclipse 是Java的IDE，功能很强大，安装好 Pydev 就可以愉快地写python。所以学习使用Eclipse是不错的选择，如果你写 java 又写 python 的话，当然你安装个 CDT 就可以写 c/c++ 了。
安装 Eclipse:
首先要安装配置 JDK 环境，去 Oracle（甲骨文）官网下载 JDK 。 http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html
然后下载 Eclipse 安装。 https://www.eclipse.org/downloads/
再下载 Python 安装配置 Python 环境(python 2 \ python 3 看个人需求了)。 https://www.python.org/
打开 Eclipse ， Help > Install New Software 在后边的文本框中填入 http://pydev.org/updates 然后点击 Add... 随便取个名，然后确定下边的方框应该就有 PyDev 和 PyDev Mylyn Integration (optional) 两项，第一项必选啦，第二项看你心情吧。然后 Next 什么的安装吧。
安装好了之后就会提示重启 Eclipse ，配置 pydev 了，这时 Windows > Preferences 中右栏就多出了个 PyDev 选项，展开其下的 Interpreters > Python Interpreter 配置 Python 环境。可以点击右侧的 Quick Auto-Config 快速自动配置，笔者安装了 Python 2 和 Python 3 两种版本。一般点击这个按钮只能配置好 Python 2，而 Python 3 就需要手动去 New 配置了。Python 3 默认安装位置在 C:\Windows 下，如果你更改了安装位置请自行找到对应的目录。
点击上方对应的 Python ，下方就会显示对应的已安装的软件包，右侧的 Install/Uninstall with pip 就可以安装软件包，像做爬虫时用到的 BeautifulSoup 就可以在些进行安装，在框中输入 -m pip install beautifulsoup 点击后边的 Run 就可以搜索并安装了，不管安装成功与否都会有说明的(这些简单的英语，自行翻译一下就可以了)。
然后就可以写 Python 了，File > New > Projects 选择 PyDev > PyDevProject 新建 PyDev Package 在 __init__.py 就可以写 python 了。
首先在编辑框中写入
#coding:utf-8
import re
声明一下编码 UTF-8 不然有打印中文时会报错
导入正则表达式模块
1). ^ 表示必须以特定的字符开头 如 ^e 则是表示待匹配字符串必须以 e 字符开头
$ 表示必须以特定的字符结尾 与 ^ 恰恰相反字符放置也是相反 如 $e 则是表示待匹配字符串必须以 e 字符结尾
. 表示任意字符 匹配任意字符 表示在待匹配字符串指定位置可以出现任意字符
* 表示指定字符可以出现任意次 (n >= 0) 如 e* 表达在待匹配字符串中指定位置可以出现任意次数
就 ^ $ . * 举个粟子吧（match 函数从首字母开始开始匹配，regex_str如果包含line子串，则匹配成功，返回Match对象，失败则返回None，若要完全匹配，line要以$结尾）
#coding:utf-8
import re
#导入正则表达式模块
line = "Hello World"
#待匹配字符串
regex_str = "(^H.*d$)"
if re.match(regex_str, line):
# match 函数 (传入的参数,要匹配的字符串)
# 从首字母开始开始匹配，regex_str如果包含line子串，则匹配成功，
# 返回Match对象，失败则返回None，若要完全匹配，line要以$结尾。
print 'True'
else:
print 'False'
运行结果 True 说明匹配成功，^H 以 H 字符开头 、 .* 任意字符出现任意次、d$以 d 字符结尾，以上都满足故 True .
? 非贪婪匹配，在正则表达式中匹配是贪婪的，程序会尽可能匹配更多的字符，当然这有时候非我们所愿.为了防止其贪婪匹配，于是 ? 就派上用场了。(group()用来提出分组截获的字符串，（）用来分组)
#coding:utf-8
import re
#导入正则表达式模块
line = "heedeeehhlhloooooooo world"
regex_str = ".*(h.*h).*"
match_obj = re.match(regex_str, line)
if match_obj:
print (match_obj.group(1))
#group()用来提出分组截获的字符串，（）用来分组
#结果中本来 'heedeeeh' 'hh' 'hhlh' 都是满足条件的
#但由于贪婪匹配，尽可能匹配更多的的后面的字符，
#这就匹配到最后一个满足条件的 'hlh'
运行结果为: hlh ，那么问题来了 heedeeeh hh hhlh hlh 这样也满足条件同时也先出现，那为什么提取的是 hlh 呢? 原来程序是贪婪匹配的的，程序想尽多可能匹配后面更多的然后就像猴子捡了芝麻丢了西瓜,最后就提取出最后一个符合条件的 hlh ,我们也可以这样理解贪婪匹配就是反向(从右往左)进行匹配,匹配到的第一项就是贪婪的结果了。
防止贪婪你可以在之前加上 ? 这样满足么？来看看
#coding:utf-8
import re
#导入正则表达式模块
line = "heedeeehhlhloooooooo world"
regex_str = ".*?(h.*h).*"
match_obj = re.match(regex_str, line)
if match_obj:
print (match_obj.group(1))
运行结果为 heedeeehhlh 好像不是所料到的结果吧，我只是提取个 heedeeeh 。为么呢，原来到上述一样你正向是非贪婪匹配了，而反向却没有，所以呢只需在后面也加上百贪婪匹配就行了(注意加在后面字符前边 即下代码中 h 前)。运行结果 heedeeeh 就对了。
#coding:utf-8
import re
#导入正则表达式模块
line = "heedeeehhlhloooooooo world"
regex_str = ".*?(h.*?h).*"
#注意 加在 h 之前
match_obj = re.match(regex_str, line)
if match_obj:
print (match_obj.group(1))
+ 表示指定字符至少出现一次及一次以上， h+ 就表示在待匹配字符串指定位置出现 h 至少一次以上
{2} 表示指定字符出现2次， h{2} 就表示在待匹配字符串中指定位置出现 h 两次
{2,} 表示指定字符至少出现2次及以上，(注意 , 后面不能留有空格) 数字不固定 如 h{3,} 表示待匹配字符串中指定位置出现3次以上
{2,6} 表示指定字符出现 2次-6次 之间， 如 h{3,5} 表示在字符串中指定位置出现次数在 3次-5次 之间
见代码 运行结果 heeh 其它就不演示了，差不多的
#coding:utf-8
import re
line = "heehhlhloooooooo world"
regex_str = ".*(he{2,}h).*"
match_obj = re.match(regex_str, line)
if match_obj:
print (match_obj.group(1))
2). [adbc] 表示在待匹配字符串中指定位置指定字符是 adbc 中任一个就满足条件
同时可以写成区间形式 如 [a-z] [0-9] 也可以区间叠加 如 [a-zA-z0-9]
[^h] 则表示待匹配字符串中指定位置指定字符非 h 就满足条件
注意: [.] [*] 此[]中的 . * 就不再表示任意字符和出现任意次数 这个就表示它们本身
看看粟子吧 运行结果为 hloooo0
#coding:utf-8
import re
line = "heehhlhloooo0 world"
regex_str = ".*(h[^e][a-z].*[0-9]).*"
match_obj = re.match(regex_str, line)
if match_obj:
print (match_obj.group(1))
| 就是或的关系，（h|r）表示待匹配字符串中指定位置只要出现 h 和 r 中的任一个就符合条件
() 在之前提到过，用来分组，在本实例中与之搭配用的group()就是用来提出分组截获的字符串 group(1) 就表示截获第1个分组的字符串 当然要有分组即需有 ()
实例
#coding:utf-8
import re
line = "hello365"
regex_str = "((hello|hell0o)365)"
match_obj = re.match(regex_str, line)
if match_obj:
print (match_obj.group(1))
print (match_obj.group(2))
运行分别输入结果 hello365 hello group(2)就截获第2个分组中的字符串 即 hello 或 hell0o 中一个
3). \s 表示待匹配字符串中指定位置指定字符为空格， 而 \S 则是表示非空格 同样的对单独使用只对指定的单个字符有效 若要多个则需加上 +
\w 表示待匹配字符串中指定位置指定字符为 a-z A-Z _ 等同于 [a-zA-Z0-9_]， \W 则是除去这些字符的其它字符 像 ~ ！ @ # $ % ^ & *
用实例说话
#coding:utf-8
import re
line = "hello world~"
regex_str = "(\wello\sworld\W)"
match_obj = re.match(regex_str, line)
if match_obj:
print (match_obj.group(1))
运行结果 hello world~ 对吧 没毛病
4). \d 表示待匹配字符串中指定位置为数字 [\u4E00-\u9FA5] 则是表示为中文
#coding:utf-8
import re
line = "hello world365嗨"
regex_str = "(hello\sworld\d+[\u4e00-\u9fa5]+)"
match_obj = re.match(regex_str, line)
if match_obj:
print (match_obj.group(1))
运行结果为 hello world365嗨
好，以上就是我学习Python 网络爬虫中重要的一节正则表达式，可能不是很全面，甚至还有点小问题，更多的可以去菜鸟教程等各大知名资料网查询。本人所写仅供参考。