python文件处理--笔记

时间:2023-01-30 22:53:45

之前一段时间一直在忙着写毕业论文,盲评搞得人心惶惶,以致于都没有看书,最近需要补上前面落下的东西。

《Python3程序开发指南》

1、二进制数据的读写

二进制格式通常是占据磁盘空间最小、保存与加载速度最快的数据格式。最简单的方法是使用pickle

   pickle模块主要提供了数据持久化功能

  序列化可使用dumps()函数,逆序列化使用loads()函数,将文件中的数据解析为一个python对象。

  现有5种版本的pickle模块,分别为0到4

pickle模块提供的常量:

  pickle.HIGHEST_PROTOCOL:整型,最高协议版本

  pickle.DEFAULT_PROTOCOL:序列化中默认的协议版本,可能会低于HIGHEST_PROTOCOL,目前默认协议为3

pickle模块提供的函数:

  1、pickle.dump(obj,file,protocol=None,*,fix_imports=True)

    将对象obj保存到文件file中,等同于Pickler(file,protocol).dump(obj)

    参数说明:

  obj:将要封装的对象

   protocol:整型,协议版本号,支持的版本号为0到HIGHEST_PROTOCOL,如果没有指定,默认为DEFAULT_PROTOCOL。如果指定为负数,则为HIGHEST_PROTOCOL。

    file:obj将要写入的文件对象,file必须以二进制可写模式打开,即“wb”,该file参数必须有write()方法,该方法能够接受单字节的参数。

     fix_imports:如果fix_imports为true,并且协议版本小于3,那么pickle将python3对应到python2

  2、pickle.dumps(obj)

   以字节对象形式返回封装的对象,不需要写入文件中

  3、pickle.load(file,*,fix_import=True,encoding="ASCII",errors="strict")

   从file中读取一个字符串,并将它重构为原来的python对象

file:必须以二进制可读模式打开,即“rb“,其余为可选参数,有read()和readline()接口

     等同于Unpickler(file).load()

  4、pickle.loads(bites_object)

  从字节对象中读取被封装的对象,并返回pickle模块可能出现的三种异常

   1、 带可压缩的Pickle

Pickle提供了从python程序中保存数据(或向python程序加载数据)的最简单方法。Pickle没有安全机制(没有机密、没有数字签名)。之所以有安全问题,是因为pickle可以导入任意模块并调用任意函数,因此来自不可信源的pickle中的数据可能会被恶意操作。但pickle是处理ad hoc数据的理想选择,针对个人用途的程序更是如此。

pickle.dump(obj,file[,protocol])

如果要求压缩,可使用gzip.open()打开文件,否则使用内置的open()函数。

二进制模式pickling数据时,必须使用“二进制写”模式(wb)

错误处理选择的方式:只要发生错误立即向用户报告,并向调用者返回一个布尔值,以表示成功还是失败。

finally语句块确保文件被关闭

import pickle
import gzip
def export_pickle(self,filename,compress=False):
fh = None
try:
if compress:
fh = gzip.open(filename,"wb")
else:
fh = open(filename,"wb")
pickle.dump(self,fh,pickle.HIGHEST_PROTOCOL)
return True
except (EnvironmentError,pickle.PickleError) as err:
print("{0}:export error:{1}".format(os.path.basename(sys.argv[0]),err))
return False
finally:
if fh is not None:
fh.close()

  

2、struct模块

在python中,需要处理二进制数据,比如在存取文件、socket通信时,这时可以通过struct模块来实现,对此,我翻阅了一些很不错的博客,就不在此班门弄斧。后面会转载一些来学习。

struct模块中,最重要的三个函数:pack(), unpack(), calcsize()。还提供了struct.Struct()类。

struct.pack():

参数:一个struct格式化字符串,一个或多个值

返回:一个bytes对象,其中存放的是按照该格式规范表示的所有这些参数值。

struct.unpack():

参数:一个格式化规范,以及一个bytes或bytearray对象

返回:一个元组,其中的值原本使用该格式规范进行了打包

>>> import struct
>>> data=struct.pack("<2h",11,-9)
>>> data
'\x0b\x00\xf7\xff'
>>> items=struct.unpack("<2h",data)
>>> items
(11, -9)
>>>

 struct.calcsize():

参数:以一个数规范为参数

返回:使用该格式规范的struct所占据的字节数。

格式规范也可以通过创建一个struct.Struct()对象存储(将该格式规范作为其参数),而struct.Struct()对象的大小则由其size属性指定。

>>> TWO_SHORTS = struct.Struct("<2h")
>>> data=TWO_SHORTS.pack(11,-9)
>>> items=TWO_SHORTS.unpack(data)
>>> data
'\x0b\x00\xf7\xff'
>>> items
(11, -9)