python学习之文件读写,序列化(json,pickle,shelve)

时间:2023-03-19 08:55:32

python基础

文件读写  凡是读写文件,所有格式类型都是字符串形式传输

  只读模式(默认) r 

    f=open('a.txt','r')#文件不存在会报错
    print(f.read())#获取到文件所有内容
    f.close()#关闭文件

  读写模式 r+

    f=open('a.txt','r+')#文件不存在会报错,可读可写可追加
    f.write('')#
    f.close()

  只写模式 w

    f=open('a.txt','w')#w会一打开文件未被清空,如果文件不存在会新建
    f.write('a','')
    f.close()#关闭文件

  写读模式 w+  

    f=open('a.txt','w+')#w会一打开文件未被清空,如果文件不存在会新建
    print(f.read())#
    f.close()

    追加写模式 a  

    f=open('a.txt','a')#可以追加写,不存在可以新建,但是不能读
    f.write('a','')
    f.close()#关闭文件

  追加读模式 a+

    f=open('a.txt','a+')#a+可读可写可追加文件内容,如果文件不存在会新建,
    print(f.read())#获取到文件所有内容
    f.write('a','123456\n')#\n换行符,从文件取到代码中会隐藏换行符用strip方法处理
    f.write('b','123456\n')
    f.seek()#文件指针移动至最前面
    f.flush()#清缓冲区,直接写入磁盘中,这样做会直接看到磁盘文件的数据,但是在正式环境中会造成大量io
    f.close()#关闭文件

    #如果有中文在f=open('a.txt','r',encoding='utf-8')

    #读取二进制文件在模式中加b 如f= open('123.avi','rb+')

    #f.flush()表示立刻把缓存区中的数据写到磁盘中

    #"U"表示在读取时,可以将 \r \n \r\n自动转换成 \n (与 r 或 r+ 模式同使用)

  read(write),readline(writeline),readlines(writelines)

    read()       获取文件所有内容到内存,如果是大文件内存放不下会造成溢出,同理write 

    print(f.readlines())  \     获取文件所有内容,并以每行字符串形式输出。如果是大文件内存放不下会造成溢出。内置for循环,同理writelines,如果是字符串,直接传字符串不用readlines或者

               writelines,效率低

    print(f.readline())   获取文件首行内容,并以字符串形式输出,文件指针标记此次读取内容之后,如果再次readline,输出后面一行的内容,同理writeline

  文件读写与for  高效读取文件内容

    一、

    f=open('a.txt',encoding='utf-8')  #f称为文件对象,文件句柄
    for line in f:
      print(line)

    二、


    f=open('a.txt',encoding='utf-8')
    while True:
  line = f.readline()
  if line != '':
  print(line)
  else:
  break
   f.close()

    三、 

   f = open('product.json', 'r', encoding='utf-8')
   res = f.read()
   if len(res) == :
  print("文件为空")
   else:
  print(res)

  文件指针    

    f.seek(0)   #文件指针移动至最前面

    f,tell()      #记录当前指针位置

#python监控access.log文件及tell与seek的混用
import time
point = 0
while True:
with open('access.log', encoding='utf-8') as f:
if f:
point_action = f.seek(point)
all_ip = []
for i in f:
ip = i.split("-")[0]
all_ip.append(ip)
point = f.tell()
all_ip_set = set(all_ip)
for i in all_ip_set:
if all_ip.count(i) > 200:
print("被封ip为%s,次数为%s" % (i, all_ip.count(i)))
time.sleep(60)

  文件修改

    方法1  简单粗暴,小文件适用

    f = open('a.txt',encoding='utf-8')#打开文件
    res = f.read().replace('a','b')#读取文件内容,把文件中所有a替换成b
    f.close()#关闭文件
    f = open('a.txt','w',encoding='utf-8')#以w模式清空文件
    f.write(res)#再把内存中的修改好的文件写入文件句柄中,从而达到文件修改的目的
    f.close()

    方法2 简单粗暴,小文件适用

    f = open('a.txt','a+‘,encoding='utf-')#以a+模式打开文件
    f.seek()#指针移动到最前面
    res = f.read().replace('a','b')#替换
    f.seek()#再把指针移到最前面,不然指针在末尾,清不掉文件内容了
    f.truncate()#清空文件内容
    f.write(res)#
    f.close()

    方法3 适用于大文件

    import os #导入模块
    f1 = open('a.txt',encoding='utf-8')#打开原来文件
    f2 = open('a.txt.bak','w',encoding='utf-8')打开修改文件
    for line in f:#循环
      new_line = line.replace('a','b')#替换
      f2.write(new_line)#写入修改文件
    f1.close()
    f2.close()
    os.remove('a.txt')#删除文件
    os.rename('a.txt.bak','a.txt')#文件重命名

  with用法   用with不需要close方法,with自动关闭 

'''将a文件的内容写到b文件中'''
with open('a.txt','r') as rf,open('b.txt','a+') as wf :
for line in rf.read():
wf.write(line)

序列化  就是从内存写到硬盘的过程,反序列化就是从磁盘读到内存的过程,我们的代码其实电脑也不是很明白,只有转换成二进制,然后电脑自己再转换成机器语言才明白

python处理json  查看json格式是否有问题 www.bejson.com

  r = '''{"a":1,"b":2,"c":3}'''#json串就是字符串

  import json #导入序列化json模块

  res = json.loads(r)#把json串变成字典,与load区别在于loads后面参数对应的是字符串,简单来说使用load可以直接操作数据库,不用read了。使用loads可以用read写到内存再进行下一步对数据库的操作

  res2=json.dumps(res)#把字典变成json串,与dump区别在于dumps后面参数对应的是字符串,简单来说使用dump可以直接操作数据库,不用read了。使用dumps可以用read写到内存再进行下一步对数据库的操作

    dumps参数  #indent缩进,中文避免乱码,ensure_ascii=False

      res2=json.dumps(res,indent=4,ensure_ascii=False)

  json处理的优劣:json模块只支持str,int ,tuple ,list ,dict的数据类型,因为数据传输到文本是json格式,所以支持的语言也是很多的

python操作pickle

test = {
"port1": {
"username": "小北",
"password": 123456,
"sex": "男",
"action": "sport"
},
"port2": {
"username": "小爱",
"password": 123456,
"sex": "女",
"action": "dance"
}
}
print(type(test)) #<class 'dict'> import pickle
wf = open('pickle_test','wb')
pickle.dump(test,wf)
wf.close()
rf = open('pickle_test','rb')
p = pickle.load(rf)
print(p)
rf.close()
res = pickle.dumps(test)
print(res) print(pickle.loads(res))
#pickle对象操作
test = {
"port1": {
"username": "小北",
"password": 123456,
"sex": "男",
"action": "sport"
},
"port2": {
"username": "小爱",
"password": 123456,
"sex": "女",
"action": "dance"
}
}
class Fuc_test(object):
def __init__(self,doc):
self.doc = doc
p = Fuc_test(test)
print(p)#<__main__.Fuc_test object at 0x000000000241A668> import pickle
wf = open('pickle_test','wb')
pickle.dump(p,wf)#写入文件 rf = open('pickle_test','rb')
res = pickle.load(rf)#读文件
print(res)#<__main__.Fuc_test object at 0x000000000241A6A0>
print(res.doc)#{'port1': {'username': '小北', 'password': 123456, 'sex': '男', 'action': 'sport'}, 'port2': {'username': '小爱', 'password': 123456, 'sex': '女', 'action': 'dance'}}

  pickle的优劣:pickle支持python里的所有数据类型,包括所有对象,但是缺点是只能在python里使用

 

python操作shelve    shelve模块是对pickle的封装,其继承了只能在python里使用的缺点,但实现了dumps,loads多次的情况

import shelve
res =shelve.open('shelve')
#字段新增
res['dict'] = test
print(res.get('dict'))#{'port1': {'username': '小北', 'password': 123456, 'sex': '男', 'action': 'sport'}, 'port2': {'username': '小爱', 'password': 123456, 'sex': '女', 'action': 'dance'}} #字段修改
res['username'] = 'niao'
print(res.get('username'))#niao
res['username'] = 'nihao'#注意字段修改只能在修改整条字段的value进行覆盖,不能改value里面的某一个值
print(res.get('username'))#nihao #字段删除
res['password'] = ''
print(res.get('password'))#
res.pop('password')
print(res.get('password'))#None #字段查看
for i,j in res.items():#循环打印res对象中所有键值对
print(i,j)
res.close()  #关闭对象

  shelve模块的优劣:一样是只能对python操作,其本身对数据增加了key,value,key必须为字符串,key可以为任何数据类型,只要是持久化成为了其优势

文件处理小妙招

  复制文件内容

  with open('b.txt', 'w', encoding='utf-8') as f2:
  with open('a.txt', 'r', encoding='utf-8') as f1:
  for line in f1:
  f2.write(line)

  取文件内容

    s = ''
f = open('product.txt', 'r', encoding='utf-8')
for line in f:
if line == '':
print("内容为空")
else :
s = s + line
print(s)

版权声明:本文原创发表于 博客园,作者为 RainBol本文欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则视为侵权。