之前一段时间一直在忙着写毕业论文,盲评搞得人心惶惶,以致于都没有看书,最近需要补上前面落下的东西。
《Python3程序开发指南》
1、二进制数据的读写
二进制格式通常是占据磁盘空间最小、保存与加载速度最快的数据格式。最简单的方法是使用pickle。
pickle模块主要提供了数据持久化功能
序列化可使用dumps()函数,逆序列化使用loads()函数,将文件中的数据解析为一个python对象。
现有5种版本的pickle模块,分别为0到4
pickle模块提供的常量:
pickle.HIGHEST_PROTOCOL:整型,最高协议版本
pickle.DEFAULT_PROTOCOL:序列化中默认的协议版本,可能会低于HIGHEST_PROTOCOL,目前默认协议为3
pickle模块提供的函数:
1、pickle.dump(obj,file,protocol=None,*,fix_imports=True)
将对象obj保存到文件file中,等同于Pickler(file,protocol).dump(obj)
参数说明:
obj:将要封装的对象
protocol:整型,协议版本号,支持的版本号为0到HIGHEST_PROTOCOL,如果没有指定,默认为DEFAULT_PROTOCOL。如果指定为负数,则为HIGHEST_PROTOCOL。
file:obj将要写入的文件对象,file必须以二进制可写模式打开,即“wb”,该file参数必须有write()方法,该方法能够接受单字节的参数。
fix_imports:如果fix_imports为true,并且协议版本小于3,那么pickle将python3对应到python2
2、pickle.dumps(obj)
以字节对象形式返回封装的对象,不需要写入文件中
3、pickle.load(file,*,fix_import=True,encoding="ASCII",errors="strict")
从file中读取一个字符串,并将它重构为原来的python对象
file:必须以二进制可读模式打开,即“rb“,其余为可选参数,有read()和readline()接口
等同于Unpickler(file).load()
4、pickle.loads(bites_object)
从字节对象中读取被封装的对象,并返回pickle模块可能出现的三种异常
1、 带可压缩的Pickle
Pickle提供了从python程序中保存数据(或向python程序加载数据)的最简单方法。Pickle没有安全机制(没有机密、没有数字签名)。之所以有安全问题,是因为pickle可以导入任意模块并调用任意函数,因此来自不可信源的pickle中的数据可能会被恶意操作。但pickle是处理ad hoc数据的理想选择,针对个人用途的程序更是如此。
pickle.dump(obj,file[,protocol])
如果要求压缩,可使用gzip.open()打开文件,否则使用内置的open()函数。
二进制模式pickling数据时,必须使用“二进制写”模式(wb)。
错误处理选择的方式:只要发生错误立即向用户报告,并向调用者返回一个布尔值,以表示成功还是失败。
finally语句块确保文件被关闭
import pickle
import gzip
def export_pickle(self,filename,compress=False):
fh = None
try:
if compress:
fh = gzip.open(filename,"wb")
else:
fh = open(filename,"wb")
pickle.dump(self,fh,pickle.HIGHEST_PROTOCOL)
return True
except (EnvironmentError,pickle.PickleError) as err:
print("{0}:export error:{1}".format(os.path.basename(sys.argv[0]),err))
return False
finally:
if fh is not None:
fh.close()
2、struct模块
在python中,需要处理二进制数据,比如在存取文件、socket通信时,这时可以通过struct模块来实现,对此,我翻阅了一些很不错的博客,就不在此班门弄斧。后面会转载一些来学习。
struct模块中,最重要的三个函数:pack(), unpack(), calcsize()。还提供了struct.Struct()类。
struct.pack():
参数:一个struct格式化字符串,一个或多个值
返回:一个bytes对象,其中存放的是按照该格式规范表示的所有这些参数值。
struct.unpack():
参数:一个格式化规范,以及一个bytes或bytearray对象
返回:一个元组,其中的值原本使用该格式规范进行了打包
>>> import struct
>>> data=struct.pack("<2h",11,-9)
>>> data
'\x0b\x00\xf7\xff'
>>> items=struct.unpack("<2h",data)
>>> items
(11, -9)
>>>
struct.calcsize():
参数:以一个数规范为参数
返回:使用该格式规范的struct所占据的字节数。
格式规范也可以通过创建一个struct.Struct()对象存储(将该格式规范作为其参数),而struct.Struct()对象的大小则由其size属性指定。
>>> TWO_SHORTS = struct.Struct("<2h")
>>> data=TWO_SHORTS.pack(11,-9)
>>> items=TWO_SHORTS.unpack(data)
>>> data
'\x0b\x00\xf7\xff'
>>> items
(11, -9)