一、文件操作
1.1 首先说我们处理文件的一个基本流程
-
打开文件，得到文件句柄并赋值给一个变量
-
通过句柄对文件进行操作
-
关闭文件
1.2 Python中对文件的操作
#1. 打开文件，得到文件句柄并赋值给一个变量 f=open('D:\空姐护士老师主妇.txt','r',encoding='utf-8') #默认打开模式就为r #2. 通过句柄对文件进行操作 data=f.read()#全部读出 line=f.readline() #按行读取
print(data) #打印读取内容
#3. 关闭文件 f.close()
1.3 注意编码的格式
文件以什么编码保存的就用什么编码格式打开！！！
＃不指定打开编码，默认使用操作系统的编码，windows为gbk，linux为utf－8，与解释器编码无关 f=open('a.txt',encoding='gbk') #在windows中默认使用的也是gbk编码，此时不指定编码也行 f.read()
#常见报错 SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape f1 = open(r'D:\空姐护士老师主妇.txt', encoding='utf-8', mode='r') # f1 = open('D:\\空姐护士老师主妇.txt', encoding='utf-8', mode='r') EncodeDecodeErorr: 编码错误。
1.4 文件打开的模式分类
文件句柄 = open('文件路径', '模式')
#1. 打开文件的模式有(默认为文本模式)： r ，只读模式【默认模式，文件必须存在，不存在则抛出异常】 w，只写模式【不可读；不存在则创建；存在则清空内容】 a， 之追加写模式【不可读；不存在则创建；存在则只追加内容】 #2. 对于非文本文件，我们只能使用b模式，"b"表示以字节的方式操作（而所有文件也都是以字节的形式存储的，使用这种模式无需考虑文本文件的字符编码、图片文件的jgp格式、视频文件的avi格式） rb wb ab 注：以b方式打开时，读取到的内容是字节类型，写入时也需要提供字节类型，不能指定编码 #3. 了解部分 "+" 表示可以同时读写某个文件 r+， 读写【可读，可写】 w+，写读【可读，可写】 a+， 写读【可读，可写】 x， 只写模式【不可读；不存在则创建，存在则报错】 x+ ，写读【可读，可写】 xb
PS：在python3中使用默认的newline=None即可，换行符无论何种平台统一用\n即可
总结常用的组合方式：
r或rt 默认模式，文本模式读 rb 二进制文件 w或wt 文本模式写，打开前文件存储被清空 wb 二进制写，文件存储同样被清空 a 追加模式，只能写在文件末尾 a+ 可读写模式，写只能写在文件末尾 w+ 可读写，与a+的区别是要清空文件内容 r+ 可读写，与a+的区别是可以写到文件任何位置
1.5 文件的操作方法
(1).open()的语法
open(file[, mode[, buffering[, encoding[, errors[, newline[, closefd=True]]]]]])
(2). 注意open()与file的区别
#首先在python3中操作文件只有一种选择，那就是open() #而在python2中则有两种方式：file()与open() 两者都能够打开文件，对文件进行操作，也具有相似的用法和参数，但是，这两种文件打开方式有本质的区别，file为文件类，用file()来打开文件，
相当于这是在构造文件类，而用open()打开文件，是用python的内建函数来操作，我们一般使用open()打开文件进行操作，而用file当做一个类型，比如type(f) is file
1.6 文件的上下文管理
当我们使用如下方式打开文件时，程序后面不用再关闭文件，即所说上下文管理
with open('a.txt','r') as read_f,open('b.txt','w') as write_f: data=read_f.read() write_f.write(data)
1.7 文件修改的真谛，实例说明：
import os with open('file_test', encoding='utf-8') as f1,\ open('file_test.bak', encoding='utf-8', mode='w') as f2: for line in f1: new_line = line.replace('SB','alex') f2.write(new_line) os.remove('file_test') os.rename('file_test.bak','file_test')
1.8 文件内置的基本的操作方法
f=open('a.txt',encoding='utf-8') f.read() #读取文件所有内容 f.readline() #一次读取一行内容 f.readlines() #读取所有内容，并存成列表 f.readable() #文件是否可读 f.write() #写文件，打开文件清空再追加，可创建新文件 f.writable() #文件是否可写 f.writelines() #以列表的方式写入文件 f.closed #文件是否关闭 f.name f.encoding #文件的名字 文件的字符编码类型 f.close() #关闭文件
1.9 文件内光标移动
(1) read(3)：
1. 文件打开方式为文本模式时，代表读取3个字符
2. 文件打开方式为b模式时，代表读取3个字节
(2).其余的文件内光标移动都是以字节为单位如seek，tell，truncate
注意：
1. seek有三种移动方式0，1，2，其中1和2必须在b模式下进行，但无论哪种模式，都是以bytes为单位移动的
2. truncate是截断文件，所以文件的打开方式必须可写，但是不能用w或w+等方式打开，因为那样直接清空文件了，所以truncate要在r+或a或a+等模式下测试效果
二、函数初识
2.1 为什么要用函数
#1、代码的组织结构不清晰，可读性差； #2、遇到重复的功能只能重复编写实现代码，代码冗余，形似面条； #3、功能需要扩展时，需要找出所有实现该功能的地方修改之，无法统一管理且维护难度极大。
2.2 函数的分类：
(1). 内置函数
为了方便我们的开发，针对一些简单的功能，python解释器已经为我们定义好了的函数即内置函数。对于内置函数，我们可以拿来就用而无需事先定义，如len(),sum(),max()
(2). 自定义函数
很明显内置函数所能提供的功能是有限的，这就需要我们自己根据需求，事先定制好我们自己的函数来实现某种功能，以后，在遇到应用场景时，随时调用自定义的函数即可。
2.3 自定义函数
#语法 def 函数名(参数1,参数2,参数3,...): '''注释''' 函数体 return 返回的值 #函数名要能反映其意义
s1=[1,2,3,4] def my_len(): count = 0 for i in s1: count += 1 return 666 print(my_len(),type(my_len()))
2.4 理解函数使用的原则
函数遵循先定义后使用的原则，定义阶段只负责检测语法，不执行代码(代码的逻辑错误，执行时才会知道)。
函数即“变量”，“变量”必须先定义后引用。未定义而直接引用函数，就相当于在引用一个不存在的变量名 #测试一 def foo(): print('from foo') bar() foo() #报错 #测试二 def bar(): print('from bar') def foo(): print('from foo') bar() foo() #正常 #测试三 def foo(): print('from foo') bar() def bar(): print('from bar') foo() #会报错吗? #结论:函数的使用,必须遵循原则:先定义,后调用 #我们在使用函数时,一定要明确地区分定义阶段和调用阶段 #定义阶段 def foo(): print('from foo') bar() def bar(): print('from bar') #调用阶段 foo()
2.5 定义函数的三种方式
(1). 无参：应用场景仅仅只是执行一些操作，比如与用户交互，打印
(2). 有参：需要根据外部传进来的参数，才能执行相应的逻辑，比如统计长度，求最大值最小值
(3). 空函数：设计代码结构
#定义阶段 def tell_tag(tag,n): #有参数 print(tag*n) def tell_msg(): #无参数 print('hello world') #调用阶段 tell_tag('*',12) tell_msg() tell_tag('*',12) ''' ************ hello world ************ ''' #结论： #1、定义时无参，意味着调用时也无需传入参数 #2、定义时有参，意味着调用时则必须传入参数 无参、有参
def auth(user,password): ''' auth function :param user: 用户名 :param password: 密码 :return: 认证结果 ''' pass def get(filename): ''' :param filename: :return: ''' pass def put(filename): ''' :param filename: :return: ''' def ls(dirname): ''' :param dirname: :return: ''' pass #程序的体系结构立见 空函数
2.6 函数的调用
(1). 函数名加括号就可以运行，即先找到名字，根据名字找到对应代码。
(2). 注意函数的返回值：
首先遇到return，就结束函数，
无return->None
return 1个值->返回1个值
return 逗号分隔多个值->元组
什么时候该有返回值？
调用函数，经过一系列的操作，最后要拿到一个明确的结果，则必须要有返回值
通常有参函数需要有返回值，输入参数，经过计算，得到一个最终的结果
什么时候不需要有返回值？
调用函数，仅仅只是执行一系列的操作，最后不需要得到什么结果，则无需有返回值
通常无参函数不需要有返回值
(3). 调用方式：
1 语句形式：foo()
2 表达式形式：3*len('hello')
3 当中另外一个函数的参数：range(len('hello'))
2.7 函数的参数
(1). 形参和实参
形参即变量名，实参即变量值，函数调用时，将值绑定到变量名上，函数调用结束，解除绑定
(2). 具体的应用体现
#1、位置参数：按照从左到右的顺序定义的参数 位置形参：必选参数 位置实参：按照位置给形参传值 #2、关键字参数：按照key=value的形式定义的实参 无需按照位置为形参传值 注意的问题： 1. 关键字实参必须在位置实参右面 2. 对同一个形参不能重复传值 #3、默认参数：形参在定义时就已经为其赋值 可以传值也可以不传值，经常需要变得参数定义成位置形参，变化较小的参数定义成默认参数（形参） 注意的问题： 1. 只在定义时赋值一次 2. 默认参数的定义应该在位置形参右面 3. 默认参数通常应该定义成不可变类型 #4、可变长参数： 可变长指的是实参值的个数不固定 而实参有按位置和按关键字两种形式定义，针对这两种形式的可变长，形参对应有两种解决方案来完整地存放它们，分别是*args，**kwargs ===========*args=========== def foo(x,y,*args): print(x,y) print(args) foo(1,2,3,4,5) def foo(x,y,*args): print(x,y) print(args) foo(1,2,*[3,4,5]) def foo(x,y,z): print(x,y,z) foo(*[1,2,3]) ===========**kwargs=========== def foo(x,y,**kwargs): print(x,y) print(kwargs) foo(1,y=2,a=1,b=2,c=3) def foo(x,y,**kwargs): print(x,y) print(kwargs) foo(1,y=2,**{'a':1,'b':2,'c':3}) def foo(x,y,z): print(x,y,z) foo(**{'z':1,'x':2,'y':3}) ===========*args+**kwargs=========== def foo(x,y): print(x,y) def wrapper(*args,**kwargs): print('====>') foo(*args,**kwargs) #5、命名关键字参数：*后定义的参数，必须被传值（有默认值的除外），且必须按照关键字实参的形式传递 可以保证，传入的参数中一定包含某些关键字 def foo(x,y,*args,a=1,b,**kwargs): print(x,y) print(args) print(a) print(b) print(kwargs) foo(1,2,3,4,5,b=3,c=4,d=5) 结果： 2 (3, 4, 5) 3 {'c': 4, 'd': 5} 此乃重点知识！！！
(3). 补充
l1 = [1,2,3,4] l11 = (1,2,3,4) l2 = ['alex','wusir',4] func1(*l1,*l2,*l11) # 函数的执行：* 打散功能。 func1(1,2,3,4,'alex','wusir',4,1,2,3,4) # 函数的执行：* 打散功能。 dic1 = {'name1':'alex'} dic2 = {'name2':'laonanhai'} func1(**dic1,**dic2) func1(name1='alex',name2='laonanhai')#函数的执行：** 也打散功能。
三、函数进阶
3.1 函数对象
(1). 函数为第一类对象，即函数可以当作数据传递。
1 可以被引用
2 可以当作参数传递
3 返回值可以是函数
4 可以当作容器类型的元素
(2). 利用上边的特性，可以规避if多分枝的存下：
def foo(): print('foo') def bar(): print('bar') dic={ 'foo':foo, 'bar':bar, } while True: choice=input('>>: ').strip() if choice in dic: dic[choice]()
3.2. 函数的嵌套
(1). 嵌套定义
def f1(): def f2(): def f3(): print('from f3') f3() f2() f1() f3() #报错，且听下文分解
(2). 函数的嵌套调用
def max(x,y): return x if x > y else y def max4(a,b,c,d): res1=max(a,b) res2=max(res1,c) res3=max(res2,d) return res3 print(max4(1,2,3,4))
3.3 名称空间与作用域
先看个实例：
name = 'alex' age = 12 def func1(): name1 = 'wusir' age1 = 34 func1() print(name1) #报错，原因是临时名称空间，局部名称空间，存入函数里面的变量与值的关系，随着函数的执行结束，临时名称空间消失。
(1). 名称空间的定义
名称空间：存放名字的地方，三种名称空间，（之前遗留的问题x=1，1存放于内存中，那名字x存放在哪里呢？名称空间正是存放名字x与1绑定关系的地方）
(2). 名称空间的加载顺序
当我们运行 python test.py 时
1、python解释器先启动，因而首先加载的是：内置名称空间
2、执行test.py文件，然后以文件为基础，加载全局名称空间
3、在执行文件的过程中如果调用函数，则临时产生局部名称空间
(3). 名字查找顺序
局部名称空间--->全局名称空间--->内置名称空间 #需要注意的是：在全局无法查看局部的，在局部可以查看全局的，如下示例 # max=1 def f1(): # max=2 def f2(): # max=3 print(max) f2() f1() print(max)
(4). 作用域
#1、作用域即范围 - 全局范围（内置名称空间与全局名称空间属于该范围）：全局存活，全局有效 - 局部范围（局部名称空间属于该范围）：临时存活，局部有效 #2、作用域关系是在函数定义阶段就已经固定的，与函数的调用位置无关，如下 x=1 def f1(): def f2(): print(x) return f2 x=100 def f3(func): x=2 func() x=10000 f3(f1()) #3、查看作用域：globals(),locals() LEGB 代表名字查找顺序: locals -> enclosing function -> globals -> __builtins__ locals 是函数内的名字空间，包括局部变量和形参 enclosing 外部嵌套函数的名字空间（闭包中常见） globals 全局变量，函数定义所在模块的名字空间 builtins 内置模块的名字空间
(5). global与nolocal关键字
count = 1 def func1(): count = count + 1 print(count) func1() #报错，原因是局部名称空间可以引用全局名称空间的，但是不能改变。
global的作用是：
1.声明一个全局变量
2.更改一个全局变量
name = 'wusir' def func1(): global name name = 'alex' return func1() print(name)#alex
nonlocal只能操作非全局变量：
def func1(): name1 = 'alex' print('+',name1) def inner(): nonlocal name1 name1= 'wusir' print('*',name1) def inner1(): pass inner() print('%',name1) func1()#% wusir
四、闭包函数
4.1. 闭包的定义
内部函数包含对外部作用域而非全局作用域的引用
#提示：之前我们都是通过参数将外部的值传给函数，闭包提供了另外一种思路，包起来。 def counter(): n=0 def incr(): nonlocal n x=n n+=1 return x return incr c=counter() print(c()) print(c()) print(c()) print(c.__closure__[0].cell_contents) #查看闭包的元素
4.2. 闭包函数的意义与作用
#闭包的意义：返回的函数对象，不仅仅是一个函数对象，在该函数外还包裹了一层作用域，这使得，该函数无论在何处调用，优先使用自己外层包裹的作用域 #应用领域：延迟计算（原来我们是传参，现在我们是包起来） from urllib.request import urlopen def index(url): def get(): return urlopen(url).read() return get baidu=index('http://www.baidu.com') print(baidu().decode('utf-8'))
五、 装饰器
装饰器就是闭包函数的应用场景
5.1. 为什么使用闭包函数
因为闭包函数遵循：开放封闭原则，即对修改封闭，对扩展开放
5.2. 装饰器的定义
起到装饰的作用，本身可以是任意可调用对象，被装饰者也可以是任意可调用对象。
强调装饰器的原则：1 不修改被装饰对象的源代码 2 不修改被装饰对象的调用方式
装饰器的目标：在遵循1和2的前提下，为被装饰对象添加上新功能
5.3. 如何使用装饰器
装饰器分为有参装饰器和无参装饰器
import time def timmer(func): def wrapper(*args,**kwargs): start_time=time.time() res=func(*args,**kwargs) stop_time=time.time() print('run time is %s' %(stop_time-start_time)) return res return wrapper @timmer def foo(): time.sleep(3) print('from foo') foo()
def auth(driver='file'): def auth2(func): def wrapper(*args,**kwargs): name=input("user: ") pwd=input("pwd: ") if driver == 'file': if name == 'egon' and pwd == '123': print('login successful') res=func(*args,**kwargs) return res elif driver == 'ldap': print('ldap') return wrapper return auth2 @auth(driver='file') def foo(name): print(name) foo('egon')
5.4. 装饰器的语法
被装饰函数的正上方，单独一行 @deco1 @deco2 @deco3 def foo(): pass foo=deco1(deco2(deco3(foo)))
5.5. 装饰器的补充：wraps
from functools import wraps def deco(func): @wraps(func) #加在最内层函数正上方 def wrapper(*args,**kwargs): return func(*args,**kwargs) return wrapper @deco def index(): '''哈哈哈哈''' print('from index') print(index.__doc__)
课后练习题一
1、写函数，，用户传入修改的文件名，与要修改的内容，执行函数，完成批量修改的作用。
2、写函数，计算传入字符串中【数字】、【字母】、【空格] 以及 【其他】的个数。
3、写函数，判断用户传入的对象（字符串、列表、元组）长度是否大于5。
4、写函数，检查传入列表的长度，如果大于2，那么仅保留前两个长度的内容，并将新内容返回给调用者。
5、写函数，检查获取传入列表或元组对象的所有奇数位索引对应的元素，并将其作为新列表返回给调用者。
6、写函数，检查字典的每一个value的长度,如果大于2，那么仅保留前两个长度的内容，并将新内容返回给调用者。
dic = {"k1": "v1v1", "k2": [11,22,33,44]}
PS:字典中的value只能是字符串或列表
#题目一 import os def alter(file,old,new): with open(file, encoding='utf-8') as read_f, \ open('file.bak', encoding='utf-8', mode='w') as write_f: for line in read_f: if old in line: new_line=line.replace(old,new) write_f.write(new_line) else: write_f.write(line) os.remove(file) os.rename('file.bak',file) alter('a.txt','alex.','SB') #题目二 def check_str(msg): res={ 'num':0, 'string':0, 'space':0, 'other':0, } for s in msg: if s.isdigit(): res['num']+=1 elif s.isalpha(): res['string']+=1 elif s.isspace(): res['space']+=1 else: res['other']+=1 return res res=check_str('hello name:aSB passowrd:alex3714') print(res) #题目三 def check_len(check_object): if len(check_object) > 5: print('length is greater then 5') else: print('length is not greater then 5') check_len('sdf') #题目四 def check_list(check_li): if len(check_li) >2: a=len(check_li) del check_li[2:a] return check_li print(check_list([1,2,3])) #题目五 def check_odd(x): return x[::2] print(check_odd((1,2,3,4))) #题目六 def chenk_len(check_dic): a={} for i,j in check_dic.items(): if len(j) > 2: a[i]=j[:2] return a print(chenk_len({"k1": "v1v1", "k2": [11,22,33,44]}))
课后练习题二
一：编写函数，（函数执行的时间是随机的）
二：编写装饰器，为函数加上统计时间的功能
三：编写装饰器，为函数加上认证的功能
四：编写装饰器，为多个函数加上认证的功能（用户的账号密码来源于文件），要求登录成功一次，后续的函数都无需再输入用户名和密码
注意：从文件中读出字符串形式的字典，可以用eval('{"name":"egon","password":"123"}')转成字典格式
五：编写装饰器，为多个函数加上认证功能，要求登录成功一次，在超时时间内无需重复登录，超过了超时时间，则必须重新登录
六：编写下载网页内容的函数，要求功能是：用户传入一个url，函数返回下载页面的结果
七：为题目五编写装饰器，实现缓存网页内容的功能：
具体：实现下载的页面存放于文件中，如果文件内有值（文件大小不为0），就优先从文件中读取网页内容，否则，就去下载，然后存到文件中
扩展功能：用户可以选择缓存介质/缓存引擎，针对不同的url，缓存到不同的文件中
八：还记得我们用函数对象的概念，制作一个函数字典的操作吗，来来来，我们有更高大上的做法，在文件开头声明一个空字典，然后在每个函数前加上装饰器，完成自动添加到字典的操作
九 编写日志装饰器，实现功能如：一旦函数f1执行，则将消息2017-07-21 11:12:11 f1 run写入到日志文件中，日志文件路径可以指定
注意：时间格式的获取
import time
time.strftime('%Y-%m-%d %X')
#题目一:略 #题目二:略 #题目三:略 #题目四： db='db.txt' login_status={'user':None,'status':False} def auth(auth_type='file'): def auth2(func): def wrapper(*args,**kwargs): if login_status['user'] and login_status['status']: return func(*args,**kwargs) if auth_type == 'file': with open(db,encoding='utf-8') as f: dic=eval(f.read()) name=input('username: ').strip() password=input('password: ').strip() if name in dic and password == dic[name]: login_status['user']=name login_status['status']=True res=func(*args,**kwargs) return res else: print('username or password error') elif auth_type == 'sql': pass else: pass return wrapper return auth2 @auth() def index(): print('index') @auth(auth_type='file') def home(name): print('welcome %s to home' %name) # index() # home('egon') #题目五 import time,random user={'user':None,'login_time':None,'timeout':0.000003,} def timmer(func): def wrapper(*args,**kwargs): s1=time.time() res=func(*args,**kwargs) s2=time.time() print('%s' %(s2-s1)) return res return wrapper def auth(func): def wrapper(*args,**kwargs): if user['user']: timeout=time.time()-user['login_time'] if timeout < user['timeout']: return func(*args,**kwargs) name=input('name>>: ').strip() password=input('password>>: ').strip() if name == 'egon' and password == '123': user['user']=name user['login_time']=time.time() res=func(*args,**kwargs) return res return wrapper @auth def index(): time.sleep(random.randrange(3)) print('welcome to index') @auth def home(name): time.sleep(random.randrange(3)) print('welcome %s to home ' %name) index() home('egon') #题目六:略 #题目七：简单版本 import requests import os cache_file='cache.txt' def make_cache(func): def wrapper(*args,**kwargs): if not os.path.exists(cache_file): with open(cache_file,'w'):pass if os.path.getsize(cache_file): with open(cache_file,'r',encoding='utf-8') as f: res=f.read() else: res=func(*args,**kwargs) with open(cache_file,'w',encoding='utf-8') as f: f.write(res) return res return wrapper @make_cache def get(url): return requests.get(url).text # res=get('https://www.python.org') # print(res) #题目七:扩展版本 import requests,os,hashlib engine_settings={ 'file':{'dirname':'./db'}, 'mysql':{ 'host':'127.0.0.1', 'port':3306, 'user':'root', 'password':'123'}, 'redis':{ 'host':'127.0.0.1', 'port':6379, 'user':'root', 'password':'123'}, } def make_cache(engine='file'): if engine not in engine_settings: raise TypeError('egine not valid') def deco(func): def wrapper(url): if engine == 'file': m=hashlib.md5(url.encode('utf-8')) cache_filename=m.hexdigest() cache_filepath=r'%s/%s' %(engine_settings['file']['dirname'],cache_filename) if os.path.exists(cache_filepath) and os.path.getsize(cache_filepath): return open(cache_filepath,encoding='utf-8').read() res=func(url) with open(cache_filepath,'w',encoding='utf-8') as f: f.write(res) return res elif engine == 'mysql': pass elif engine == 'redis': pass else: pass return wrapper return deco @make_cache(engine='file') def get(url): return requests.get(url).text # print(get('https://www.python.org')) print(get('https://www.baidu.com')) #题目八 route_dic={} def make_route(name): def deco(func): route_dic[name]=func return deco @make_route('select') def func1(): print('select') @make_route('insert') def func2(): print('insert') @make_route('update') def func3(): print('update') @make_route('delete') def func4(): print('delete') print(route_dic) #题目九 import time import os def logger(logfile): def deco(func): if not os.path.exists(logfile): with open(logfile,'w'):pass def wrapper(*args,**kwargs): res=func(*args,**kwargs) with open(logfile,'a',encoding='utf-8') as f: f.write('%s %s run\n' %(time.strftime('%Y-%m-%d %X'),func.__name__)) return res return wrapper return deco @logger(logfile='aaaaaaaaaaaaaaaaaaaaa.log') def index(): print('index') index()