python常用模块详解

什么是模块

常见的场景：一个模块就是一个包含了python定义和声明的文件，文件名就是模块名字加上.py的后缀。但其实import加载的模块分为四个通用类别：　

　　1 使用python编写的代码（.py文件）

　　2 已被编译为共享库或DLL的C或C++扩展

　　3 包好一组模块的包

　　4 使用C编写并链接到python解释器的内置模块

常用模块

下面列举python的常用模块

collections模块

在内置数据类型（dict、list、set、tuple）的基础上，collections模块还提供了几个额外的数据类型：Counter、deque、defaultdict、namedtuple和OrderedDict等。

1.namedtuple: 生成可以使用名字来访问元素内容的tuple

2.deque: 双端队列，可以快速的从另外一侧追加和推出对象

3.Counter: 计数器，主要用来计数

4.OrderedDict: 有序字典

5.defaultdict: 带有默认值的字典

namedtuple

我们知道tuple可以表示不变集合，例如，一个点的二维坐标就可以表示成：

>>> p = (, )

但是，看到(1, 2)，很难看出这个tuple是用来表示一个坐标的。

这时，namedtuple就派上了用场：

 >>> from collections import namedtuple
 >>> Point = namedtuple('Point', ['x', 'y'])
 >>> p = Point(, )
 >>> p.x
 >>> p.y

类似的，如果要用坐标和半径表示一个圆，也可以用namedtuple定义：

 #namedtuple('名称', [属性list]):
 Circle = namedtuple('Circle', ['x', 'y', 'r'])

deque双端队列

使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。

deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈：

>>> from collections import deque
>>> q = deque(['a', 'b', 'c'])
>>> q.append('x')
>>> q.appendleft('y')
>>> q
deque(['y', 'a', 'b', 'c', 'x'])

deque除了实现list的append()和pop()外，还支持appendleft()和popleft()，这样就可以非常高效地往头部添加或删除元素。

OrderedDict有序字典

使用dict时，Key是无序的。在对dict做迭代时，我们无法确定Key的顺序。

如果要保持Key的顺序，可以用OrderedDict：

 >>> from collections import OrderedDict
 >>> d = dict([('a', ), ('b', ), ('c', )])
 >>> d # dict的Key是无序的
 {'a': , 'c': , 'b': }
 >>> od = OrderedDict([('a', ), ('b', ), ('c', )])
 >>> od # OrderedDict的Key是有序的
 OrderedDict([('a', ), ('b', ), ('c', )])

注意，OrderedDict的Key会按照插入的顺序排列，不是Key本身排序：

>>> od = OrderedDict()
>>> od['z'] =
>>> od['y'] =
>>> od['x'] =
>>> od.keys() # 按照插入的Key的顺序返回
['z', 'y', 'x']

defaultDict

有如下值集合 [11,22,33,44,55,66,77,88,99,90...]，将所有大于 66 的值保存至字典的第一个key中，将小于 66 的值保存至第二个key的值中。

即： {'k1': 大于66 , 'k2': 小于66}

 

 values = [, , ,,,,,,,]

 my_dict = {}

 for value in  values:
     if value>:
         if my_dict.has_key('k1'):
             my_dict['k1'].append(value)
         else:
             my_dict['k1'] = [value]
     else:
         if my_dict.has_key('k2'):
             my_dict['k2'].append(value)
         else:
             my_dict['k2'] = [value]

原生字典解决方案

 from collections import defaultdict

 values = [, , ,,,,,,,]

 my_dict = defaultdict(list)

 for value in  values:
     if value>:
         my_dict['k1'].append(value)
     else:
         my_dict['k2'].append(value)

default字典解决

tip：使用dict时，如果引用的Key不存在，就会抛出KeyError。如果希望key不存在时，返回一个默认值，就可以用defaultdict

 >>> from collections import defaultdict
 >>> dd = defaultdict(lambda: 'N/A')
 >>> dd['key1'] = 'abc'
 >>> dd['key1'] # key1存在
 'abc'
 >>> dd['key2'] # key2不存在，返回默认值
 'N/A'

defaultdict类的初始化函数接受一个类型作为参数，当所访问的键不存在的时候，可以实例化一个值作为默认值

>>> from collections import defaultdict
>>> dd = defaultdict(list)
>>> dd
defaultdict(<type 'list'>, {})
>>> dd['foo']
[]
>>> dd
defaultdict(<type 'list'>, {'foo': []})
>>> dd['bar'].append('quux')
>>> dd
defaultdict(<type 'list'>, {'foo': [], 'bar': ['quux']})

counter

Counter类的目的是用来跟踪值出现的次数。它是一个无序的容器类型，以字典的键值对形式存储，其中元素作为key，其计数作为value。计数值可以是任意的Interger（包括0和负数）。Counter类和其他语言的bags或multisets很相似。

c = Counter('abcdeabcdabcaba')
print c
输出：Counter({'a': , 'b': , 'c': , 'd': , 'e': })

时间模块

和时间有关系的我们就要用到时间模块。在使用模块之前，应该首先导入这个模块。

 #常用方法
 .time.sleep(secs)
 (线程)推迟指定的时间运行。单位为秒。
 .time.time()
 获取当前时间戳

表示时间的三种方式

在Python中，通常有这三种方式来表示时间：时间戳、元组(struct_time)、格式化的时间字符串：

(1)时间戳(timestamp) ：通常来说，时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量。我们运行“type(time.time())”，返回的是float类型。

(2)格式化的时间字符串(Format String)： ‘1999-12-06’

 %y 两位数的年份表示（-）
 %Y 四位数的年份表示（-）
 %m 月份（-）
 %d 月内中的一天（-）
 %H 24小时制小时数（-）
 %I 12小时制小时数（-）
 %M 分钟数（=）
 %S 秒（-）
 %a 本地简化星期名称
 %A 本地完整星期名称
 %b 本地简化的月份名称
 %B 本地完整的月份名称
 %c 本地相应的日期表示和时间表示
 %j 年内的一天（-）
 %p 本地A.M.或P.M.的等价符
 %U 一年中的星期数（-）星期天为星期的开始
 %w 星期（-），星期天为星期的开始
 %W 一年中的星期数（-）星期一为星期的开始
 %x 本地相应的日期表示
 %X 本地相应的时间表示
 %Z 当前时区的名称
 %% %号本身

(3)元组(struct_time) ：struct_time元组共有9个元素共九个元素:(年，月，日，时，分，秒，一年中第几周，一年中第几天等）

索引（Index）	属性（Attribute）	值（Values）
0	tm_year（年）	如：2016
1	tm_mon（月）	1 - 12
2	tm_mday（日）	1 - 31
3	tm_hour（时）	0 - 23
4	tm_min（分）	0 - 59
5	tm_sec（秒）	0 - 59
6	tm_wday（weekday）	0 - 6
7	tm_yday（一年中的第几天）	1 - 366
8	tm_isdst（是否是夏令时）	默认0

python中表示时间的几种格式：

 #导入时间模块
 >>>import time

 #时间戳
 >>>time.time()
 1500875844.800804

 #时间字符串
 >>>time.strftime("%Y-%m-%d %X")
 '2017-07-24 13:54:37'
 >>>time.strftime("%Y-%m-%d %H-%M-%S")
 '2017-07-24 13-55-04'

 #时间元组:localtime将一个时间戳转换为当前时区的struct_time
 time.localtime()
 time.struct_time(tm_year=, tm_mon=, tm_mday=,
 　　　　　　　　　　tm_hour=, tm_min=, tm_sec=,
                  tm_wday=, tm_yday=, tm_isdst=)

小结：时间戳是计算机能够识别的时间；时间字符串是人能够看懂的时间；元组则是用来操作时间的

几种时间格式的转换

#时间戳-->结构化时间
#time.gmtime(时间戳)    #UTC时间，与英国伦敦当地时间一致
#time.localtime(时间戳) #当地时间。例如我们现在在北京执行这个方法：与UTC时间相差8小时，UTC时间+8小时 = 北京时间
>>>time.gmtime()
time.struct_time(tm_year=, tm_mon=, tm_mday=, tm_hour=, tm_min=, tm_sec=, tm_wday=, tm_yday=, tm_isdst=)
>>>time.localtime()
time.struct_time(tm_year=, tm_mon=, tm_mday=, tm_hour=, tm_min=, tm_sec=, tm_wday=, tm_yday=, tm_isdst=)

#结构化时间-->时间戳　
#time.mktime(结构化时间)
>>>time_tuple = time.localtime()
>>>time.mktime(time_tuple)
1500000000.0

#结构化时间-->字符串时间
#time.strftime("格式定义","结构化时间")  结构化时间参数若不传，则现实当前时间
>>>time.strftime("%Y-%m-%d %X")
'2017-07-24 14:55:36'
>>>time.strftime("%Y-%m-%d",time.localtime())
'2017-07-14'

#字符串时间-->结构化时间
#time.strptime(时间字符串,字符串对应格式)
>>>time.strptime("2017-03-16","%Y-%m-%d")
time.struct_time(tm_year=, tm_mon=, tm_mday=, tm_hour=, tm_min=, tm_sec=, tm_wday=, tm_yday=, tm_isdst=-)
>>>time.strptime("07/24/2017","%m/%d/%Y")
time.struct_time(tm_year=, tm_mon=, tm_mday=, tm_hour=, tm_min=, tm_sec=, tm_wday=, tm_yday=, tm_isdst=-)

#结构化时间 --> %a %b %d %H:%M:%S %Y串
#time.asctime(结构化时间) 如果不传参数，直接返回当前时间的格式化串
>>>time.asctime(time.localtime())
'Fri Jul 14 10:40:00 2017'
>>>time.asctime()
'Mon Jul 24 15:18:33 2017'

#%a %d %d %H:%M:%S %Y串 --> 结构化时间
#time.ctime(时间戳)  如果不传参数，直接返回当前时间的格式化串
>>>time.ctime()
'Mon Jul 24 15:19:07 2017'
>>>time.ctime()
'Fri Jul 14 10:40:00 2017' 

import time
true_time=time.mktime(time.strptime('2017-09-11 08:30:00','%Y-%m-%d %H:%M:%S'))
time_now=time.mktime(time.strptime('2017-09-12 11:00:00','%Y-%m-%d %H:%M:%S'))
dif_time=time_now-true_time
struct_time=time.gmtime(dif_time)
print('过去了%d年%d月%d天%d小时%d分钟%d秒'%(struct_time.tm_year-,struct_time.tm_mon-,
                                       struct_time.tm_mday-,struct_time.tm_hour,
                                       struct_time.tm_min,struct_time.tm_sec))

计算时间差

random模块

 >>> import random
 #随机小数
 >>> random.random()      # 大于0且小于1之间的小数
 0.7664338663654585
 >>> random.uniform(,) #大于1小于3的小数
 1.6270147180533838

 #随机整数
 >>> random.randint(,)  # 大于等于1且小于等于5之间的整数
 >>> random.randrange(,,) # 大于等于1且小于10之间的奇数

 #随机选择一个返回
 >>> random.choice([,'',[,]])  # #1或者23或者[,]
 #随机选择多个返回，返回的个数为函数的第二个参数
 >>> random.sample([,'',[,]],) # #列表元素任意2个组合
 [[, ], '']

 #打乱列表顺序
 >>> item=[,,,,]
 >>> random.shuffle(item) # 打乱次序
 >>> item
 [, , , , ]
 >>> random.shuffle(item)
 >>> item
 [, , , , ]

生成随机验证码

import random

def v_code():

    code = ''
    for i in range():

        num=random.randint(,)
        alf=chr(random.randint(,))
        add=random.choice([num,alf])
        code="".join([code,str(add)])

    return code

print(v_code())

生成随机验证码

sys模块

sys模块是与python解释器交互的一个接口

 sys.argv           命令行参数List，第一个元素是程序本身路径
 sys.exit(n)        退出程序，正常退出时exit(),错误退出sys.exit()
 sys.version        获取Python解释程序的版本信息
 sys.path           返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
 sys.platform       返回操作系统平台名称

异常处理和status

 import sys
 try:
     sys.exit()
 except SystemExit as e:
     print(e)

序列化模块

什么叫序列化——将原本的字典、列表等内容转换成一个字符串的过程就叫做序列化。

比如，我们在python代码中计算的一个数据需要给另外一段程序使用，那我们怎么给？
现在我们能想到的方法就是存在文件里，然后另一个python程序再从文件里读出来。
但是我们都知道，对于文件来说是没有字典这个概念的，所以我们只能将数据转换成字典放到文件中。
你一定会问，将字典转换成一个字符串很简单，就是str(dic)就可以办到了，为什么我们还要学习序列化模块呢？
没错序列化的过程就是从dic 变成str(dic)的过程。现在你可以通过str(dic)，将一个名为dic的字典转换成一个字符串，
但是你要怎么把一个字符串转换成字典呢？
聪明的你肯定想到了eval()，如果我们将一个字符串类型的字典str_dic传给eval，就会得到一个返回的字典类型了。
eval()函数十分强大，但是eval是做什么的？e官方demo解释为：将字符串str当成有效的表达式来求值并返回计算结果。
ＢＵＴ！强大的函数有代价。安全性是其最大的缺点。
想象一下，如果我们从文件中读出的不是一个数据结构，而是一句"删除文件"类似的破坏性语句，那么后果实在不堪设设想。
而使用eval就要担这个风险。
所以，我们并不推荐用eval方法来进行反序列化操作(将str转换成python中的数据结构)

为什么要序列化

序列化的目的

1、以某种存储形式使自定义对象持久化；

2、将对象从一个地方传递到另一个地方。

3、使程序更具维护性。

 

json

Json模块提供了四个功能：dumps、dump、loads、load

import json
dic = {'k1':'v1','k2':'v2','k3':'v3'}
str_dic = json.dumps(dic)  #序列化：将一个字典转换成一个字符串
print(type(str_dic),str_dic)  #<class 'str'> {"k3": "v3", "k1": "v1", "k2": "v2"}
#注意，json转换完的字符串类型的字典中的字符串是由""表示的

dic2 = json.loads(str_dic)  #反序列化：将一个字符串格式的字典转换成一个字典
#注意，要用json的loads功能处理的字符串类型的字典中的字符串必须由""表示
print(type(dic2),dic2)  #<class 'dict'> {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}

list_dic = [,['a','b','c'],,{'k1':'v1','k2':'v2'}]
str_dic = json.dumps(list_dic) #也可以处理嵌套的数据类型
print(type(str_dic),str_dic) #<class 'str'> [, ["a", "b", "c"], , {"k1": "v1", "k2": "v2"}]
list_dic2 = json.loads(str_dic)
print(type(list_dic2),list_dic2) #<class 'list'> [, ['a', 'b', 'c'], , {'k1': 'v1', 'k2': 'v2'}]

loads和dumps

import json
f = open('json_file','w')
dic = {'k1':'v1','k2':'v2','k3':'v3'}
json.dump(dic,f)  #dump方法接收一个文件句柄，直接将字典转换成json字符串写入文件
f.close()

f = open('json_file')
dic2 = json.load(f)  #load方法接收一个文件句柄，直接将文件中的json字符串转换成数据结构返回
f.close()
print(type(dic2),dic2)

load和dump

import json
f = open('file','w')
json.dump({'国籍':'中国'},f)
ret = json.dumps({'国籍':'中国'})
f.write(ret+'\n')
json.dump({'国籍':'美国'},f,ensure_ascii=False)
ret = json.dumps({'国籍':'美国'},ensure_ascii=False)
f.write(ret+'\n')
f.close()

ensure_ascii关键字参数

pickle

用于序列化的两个模块

• json，用于字符串 和 python数据类型间进行转换
• pickle，用于python特有的类型 和 python的数据类型间进行转换

pickle模块提供了四个功能：dumps、dump(序列化，存）、loads（反序列化，读）、load  （不仅可以序列化字典，列表...可以把python中任意的数据类型序列化）

import pickle
dic = {'k1':'v1','k2':'v2','k3':'v3'}
str_dic = pickle.dumps(dic)
print(str_dic)  #一串二进制内容

dic2 = pickle.loads(str_dic)
print(dic2)    #字典

import time
struct_time  = time.localtime()
print(struct_time)
f = open('pickle_file','wb')
pickle.dump(struct_time,f)
f.close()

f = open('pickle_file','rb')
struct_time2 = pickle.load(f)
print(struct_time2.tm_year)

shelve

shelve也是python提供给我们的序列化工具，比pickle用起来更简单一些。
shelve只提供给我们一个open方法，是用key来访问的，使用起来和字典类似。

 import shelve
 f = shelve.open('shelve_file')
 f['key'] = {'int':, 'float':9.5, 'string':'Sample data'}  #直接对文件句柄操作，就可以存入数据
 f.close()

 import shelve
 f1 = shelve.open('shelve_file')
 existing = f1['key']  #取出数据的时候也只需要直接用key获取即可，但是如果key不存在会报错
 f1.close()
 print(existing)

这个模块有个限制，它不支持多个应用同一时间往同一个DB进行写操作。所以当我们知道我们的应用如果只进行读操作，我们可以让shelve通过只读方式打开DB

import shelve
f = shelve.open('shelve_file', flag='r')
existing = f['key']
f.close()
print(existing)

shelve只读

由于shelve在默认情况下是不会记录待持久化对象的任何修改的，所以我们在shelve.open()时候需要修改默认参数，否则对象的修改不会保存。

import shelve
f1 = shelve.open('shelve_file')
print(f1['key'])
f1['key']['new_value'] = 'this was not here before'
f1.close()

f2 = shelve.open('shelve_file', writeback=True)
print(f2['key'])
f2['key']['new_value'] = 'this was not here before'
f2.close()

设置writeback

writeback方式有优点也有缺点。优点是减少了我们出错的概率，并且让对象的持久化对用户更加的透明了；但这种方式并不是所有的情况下都需要，首先，使用writeback以后，shelf在open()的时候会增加额外的内存消耗，并且当DB在close()的时候会将缓存中的每一个对象都写入到DB，这也会带来额外的等待时间。因为shelve没有办法知道缓存中哪些对象修改了，哪些对象没有修改，因此所有的对象都会被写入。

re模块

python正则详解：http://www.cnblogs.com/qflyue/p/8252528.html

os模块

python文件操作与os常用命令：http://www.cnblogs.com/qflyue/p/8110862.html

hashlib、configparser、logging模块

python之hashlib、configparser、logging模块 http://www.cnblogs.com/qflyue/p/8342581.html