Python学习 【第三篇】: python基础（二）

1. 函数基本语法及特性

2. 参数与局部变量

3. 返回值

嵌套函数

4.递归

5.匿名函数

6.函数式编程介绍

7.高阶函数

8.内置函数

 

回顾基础知识

1、集合

主要作用：

　　1、去重

　　2、关系测试，交集\差集\并集\反向（对称）差集

>>> a = {1,2,3,4}
>>> b ={3,4,5,6}
>>> a
{1, 2, 3, 4}
>>> type(a)
<class 'set'>
>>> a.symmetric_difference(b)
{1, 2, 5, 6}
>>> b.symmetric_difference(a)
{1, 2, 5, 6}
>>>
>>>
>>> a.difference(b)
{1, 2}
>>> a.union(b)
{1, 2, 3, 4, 5, 6}
>>> a.issu
a.issubset(   a.issuperset(
>>> a.issubset(b)
False

　　

2、元祖

只读列表，只有count，index 两个方法

作用：如果一些数据不想被人修改，可以存成元祖，比如身份证列表

 

3、字典

key - value 键值对

特性：无顺序、去重、查询速度快，比列表快、比list占用内存多

查询速度快，是因为字典是hash类型的

哈希算法是将任意长度的二进制值映射为较短的固定长度的二进制值，这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。如果散列一段明文而且只更改该段落的一个字母，随后的哈希都将产生不同的值。要找到散列为同一个值的两个不同的输入，在计算上是不可能的，所以数据的哈希值可以检验数据的完整性。一般用于快速查找和加密算法。

dict会把所有的Key变成hash表，然后对这个表进行排序，这样，通过data[key]去查data字典中一个key的时候，python会先把这个Key hash成一个数字，然后拿这个数字到hash表中看有没有这个数字，如果有，拿到这个key在hash表中的索引，拿到这个索引去与此key对应的value的内存地址那取值。

 

4、字符编码

python 2

    1、python2默认编码是ascii

    2、文件开头编码声明是告诉解释这个代码的程序以什么编码格式把这段代码读入到内存，因为到了内存里，这段代码是以bytes二进制格式存的，不过即使是二进制流，也可以按不同的编码格式转成二进制流。

    3、如果在文件头声明了#-*- coding:utf-8 -*-，就可以解释中文了。

    4、在有#-*- coding:utf-8 -*- 的情况下，在声明变量写成name=u"美女"，那这个字符就是unicode格式，不加这个u，那声明的字符串就是utf-8格式。

    5、utf-8 to gbk怎么转，utf-8先decode成unicode，再encode成gbk

 

python 3

    1、py3里默认文件编码就是utf-8,所以可以直接写中文，也不需要文件头声明编码了

    2、你声明的变量默认是unicode编码，不是utf-8, 因为默认即是unicode了（不像在py2里，你想直接声明成unicode还得在变量前加个u）, 此时你想转成gbk的话，直接your_str.encode("gbk")即可以

    3、但python3里，你在your_str.encode("gbk")时，感觉好像还加了一个动作，就是就是encode的数据变成了bytes里，因为在python3里，str and bytes做了明确的区分，你可以理解为bytes就是二进制流，那为什么看到的不是010101这样的二进制呢， 那是因为python为了让你能对数据进行操作而在内存级别又帮你做了一层封装。　

    4、那你说，在py2里好像也有bytes呀，是的，不过py2里的bytes只是对str做了个别名(python2里的str就是bytes, py3里的str是unicode)，没有像py3一样给你显示的多出来一层封装，但其实其内部还是封装了的。 这么讲吧， 无论是2还是三， 从硬盘到内存，数据格式都是 010101二进制到-->b'\xe4\xbd\xa0\xe5\xa5\xbd' bytes类型－－>按照指定编码转成你能看懂的文字

编码应用比较多的场景应该是爬虫了，互联网上很多网站用的编码格式很杂，虽然整体趋向都变成utf-8，但现在还是很杂，所以爬网页时就需要你进行各种编码的转换

 

一、函数基本语法及特性

 现需要写一个监控程序，监控服务器的系统状况，当cpu | memory | disk等指标的使用量超过阀值时即发邮件报警，写出了以下代码

while True：
    if cpu利用率 > 90%:
        #发送邮件提醒
        连接邮箱服务器
        发送邮件
        关闭连接

    if 硬盘使用空间 > 90%:
        #发送邮件提醒
        连接邮箱服务器
        发送邮件
        关闭连接

    if 内存占用 > 80%:
        #发送邮件提醒
        连接邮箱服务器
        发送邮件
        关闭连接

上面的代码实现了功能，但重复代码太多，每次报警都要重写一段发邮件的代码，这样存在两个问题：

    1、代码重复过多

    2、如果日后需要修改发邮件这段代码，那就需要所有用到这段代码的地方都要修改一遍

这时，就用到了函数，如下

def 发送邮件(内容)
    #发送邮件提醒
    连接邮箱服务器
    发送邮件
    关闭连接

while True：

    if cpu利用率 > 90%:
        发送邮件('CPU报警')

    if 硬盘使用空间 > 90%:
        发送邮件('硬盘报警')

    if 内存占用 > 80%:
        发送邮件('内存报警')

　　

函数是什么？

　　函数一次来源于数学，但编程中的「函数」概念与数学中的函数是有很大不同的，编程中的函数在英文中也有很多不同的叫法。在BASIC中叫做subroutine（子过程或子程序），在Pascal中叫做procedure（过程）和function，在C中只有function，在Java里叫做method。

定义: 函数是指将一组语句的集合通过一个名字(函数名)封装起来，要想执行这个函数，只需调用其函数名即可

特性：

　　1、减少重复代码

　　2、使程序变得可扩展

　　3、使程序变得易维护

语法定义

def sayhi(): #函数名
    print("Hello, I'm nobody!")

sayhi()  #调用函数

可以带参数

#下面这段代码
a,b = 5,8
c = a**b
print(c)


#改成用函数写
def calc(x,y):
    res = x**y
    return res #返回函数执行结果

c = calc(a,b) ＃结果赋值给c变量
print(c)

　　

二、函数参数与局部变量

形参变量，只有在被调用时才分配内存单元，在调用结束后，即刻释放所分配的内存单元。因此，形参只在函数内部有效。函数调用结束返回主调用函数后则不能再使用该形参变量

实参变量，可以是常量、变量、表达式、函数等，无论实参是何种类型的变量，在进行函数调用时，它们都必须有确定的值，以便把这些值传送给形参。因此应预先用赋值，输入等办法使参数获得确定值

 

默认参数

def stu_register(name,age,country,course):
    print("----人员信息------")
    print("姓名:",name)
    print("age:",age)
    print("国籍:",country)
    print("课程:",course)

stu_register("张三",22,"CN","python_devops")
stu_register("李四",21,"CN","linux")
stu_register("王五",25,"CN","linux")

发现country这个参数基本都是"CN"，就像我们在网站上注册用户，像国籍这种信息，你不填写，默认就是中国，这就是通过默认参数实现的，把country变成默认参数如下

def stu_register(name,age,course,country="CN"):

这样这个参数在调用时不指定时，默认就是CN

 

关键参数

正常情况下，给函数传参数要按顺序，不想按顺序就可以用关键参数，只需指定参数名即可，但有一个要求，关键参数必须放在位置参数之后。

stu_register(age=18,name='insec',course="python",)

 

非固定参数

若你的函数在定义时不确定用户想传入多少个参数，就可以使用非固定参数

def stu_register(name,age,*args): # *args 会把多传入的参数变成一个元组形式
    print(name,age,args)

stu_register("isnec",18)
#输出
#insec 18 () #后面这个()就是args,只是因为没传值,所以为空

stu_register("shy",20,"CN","Python")
#输出
# shy 20 ('CN', 'Python')

还可以有一个**kwargs

def stu_register(name,age,*args,**kwargs): # *kwargs 会把多传入的参数变成一个dict形式
    print(name,age,args,kwargs)

stu_register("insec",18)
#输出
#insec 18 () {}#后面这个{}就是kwargs,只是因为没传值,所以为空

stu_register("shy",20,"CN","Python",sex="Man",province="HanGuo")
#输出
# shy 20 ('CN', 'Python') {'province': 'HanGuo', 'sex': 'Man'}

　　

局部变量

name = "Insec C"


def change_name(name):
    print("before change:",name)
    name = "Jungle,Wild hegemony"
    print("after change", name)


change_name(name)

print("在外面看看name改了么?",name)

　输出

('before change:', 'Insec C')
('after change', 'Jungle,Wild hegemony')
('在外面看看name改了么?', 'Insec C')

　

全局与局部变量

在子程序中定义的变量称为局部变量，在程序的一开始定义的变量称为全局变量。 全局变量作用域是整个程序，局部变量作用域是定义该变量的子程序。 当全局变量与局部变量同名时： 在定义局部变量的子程序内，局部变量起作用；在其它地方全局变量起作用。  

三、返回值

要想获取函数的执行结果，就可以用return语句把结果返回

注意:

1. 函数在执行过程中只要遇到return语句，就会停止执行并返回结果，也可以理解为 return 语句代表着函数的结束
2. 如果未在函数中指定return,那这个函数的返回值为None 

嵌套函数

name = "Insec"

def change_name():
    name = "Insec2"

    def change_name2():
        name = "Insec3"
        print("第3层打印",name)

    change_name2() #调用内层函数
    print("第2层打印",name)


change_name()
print("最外层打印",name)

 

四、递归

在函数内部，可以调用其他函数。如果一个函数在内部调用自身本身，这个函数就是递归函数。

def calc(n):
    print(n)
    if int(n/2) ==0:
        return n
    return calc(int(n/2))

calc(10)

输出：
10
5
2
1

　

递归特性:

1. 必须有一个明确的结束条件

2. 每次进入更深一层递归时，问题规模相比上次递归都应有所减少

3. 递归效率不高，递归层次过多会导致栈溢出（在计算机中，函数调用是通过栈（stack）这种数据结构实现的，每当进入一个函数调用，栈就会加一层栈帧，每当函数返回，栈就会减一层栈帧。由于栈的大小不是无限的，所以，递归调用的次数过多，会导致栈溢出）

　堆栈扫盲http://www.cnblogs.com/lln7777/archive/2012/03/14/2396164.html 

 

递归函数实际应用案例，二分查找

data = [1, 3, 6, 7, 9, 12, 14, 16, 17, 18, 20, 21, 22, 23, 30, 32, 33, 35]


def binary_search(dataset,find_num):
    print(dataset)

    if len(dataset) >1:
        mid = int(len(dataset)/2)
        if dataset[mid] == find_num:  #find it
            print("找到数字",dataset[mid])
        elif dataset[mid] > find_num :# 找的数在mid左面
            print("\033[31;1m找的数在mid[%s]左面\033[0m" % dataset[mid])
            return binary_search(dataset[0:mid], find_num)
        else:# 找的数在mid右面
            print("\033[32;1m找的数在mid[%s]右面\033[0m" % dataset[mid])
            return binary_search(dataset[mid+1:],find_num)
    else:
        if dataset[0] == find_num:  #find it
            print("找到数字啦",dataset[0])
        else:
            print("没的分了,要找的数字[%s]不在列表里" % find_num)


binary_search(data,66)

　　

五、匿名函数

匿名函数就是不需要显式的指定函数

#这段代码
def calc(n):
    return n**n
print(calc(10))

#换成匿名函数
calc = lambda n:n**n
print(calc(10))

匿名函数主要是和其它函数搭配使用，如下

res = map(lambda x:x**2,[1,5,7,4,8])
for i in res:
    print(i)

输出

1
25
49
16
64

　　

六、函数式编程介绍

函数是python内建支持的一种封装，我们通过把大段代码拆成函数，通过一层一层的函数调用，就可以把复杂任务分解成简单任务，这种分解可以称之为面向过程的程序设计。函数就是面向过程的程序设计的基本单元。

函数式编程中的函数这个术语不是指计算机中的函数（实际上是Subroutine），而是指数学中的函数，即自变量的映射。也就是说一个函数的值，不依赖其他状态。例如sqrt(x)函数计算x的平方根，只要x不变，不论什么时候调用，调用几次，其值都是不变的。

Python对函数式编程提供部分支持。由于Python允许使用变量，因此，Python不是纯函数式编程语言。

1、定义

简单说，"函数式编程"是一种“编程范式”（programming paradigm），也就是如何编写程序的方法论。

主要思想是把运算过程尽量写成一系列嵌套的函数调用。举例来说，现在有这样一个数学表达式：

　(1 + 2) * 3 - 4

传统的过程式编程，可能这样写：

　　var a = 1 + 2;

　　var b = a * 3;

　　var c = b - 4;

函数式编程要求使用函数，我们可以把运算过程定义为不同的函数，然后写成下面这样：

var result = subtract(multiply(add(1,2), 3), 4);

这段代码再演进以下，可以变成这样

add(1,2).multiply(3).subtract(4)

这基本就是自然语言的表达了

merge([1,2],[3,4]).sort().search("2")

因此，函数式编程的代码更容易理解。

 

七、高阶函数

变量可以指向函数，函数的参数能接收变量，那么一个函数就可以接收另一个函数作为参数，这种函数就称之为高阶函数。

def add(x,y,f):
    return f(x) + f(y)


res = add(3,-6,abs)
print(res)

　　

八、内置参数

 

 内置参数详解 https://docs.python.org/3/library/functions.html?highlight=built#ascii 

 

#compile
f = open("函数递归.py")
data =compile(f.read(),'','exec')
exec(data)


#print
msg = "又回到最初的起点"
f = open("tofile","w")
print(msg,"记忆中你青涩的脸",sep="|",end="",file=f)


# #slice
# a = range(20)
# pattern = slice(3,8,2)
# for i in a[pattern]: #等于a[3:8:2]
#     print(i)
#
#


#memoryview
#usage:
#>>> memoryview(b'abcd')
#<memory at 0x104069648>
#在进行切片并赋值数据时，不需要重新copy原列表数据，可以直接映射原数据内存，
import time
for n in (100000, 200000, 300000, 400000):
    data = b'x'*n
    start = time.time()
    b = data
    while b:
        b = b[1:]
    print('bytes', n, time.time()-start)

for n in (100000, 200000, 300000, 400000):
    data = b'x'*n
    start = time.time()
    b = memoryview(data)
    while b:
        b = b[1:]
    print('memoryview', n, time.time()-start)

　　

练习

队员 信息表
id	name	age	phone	position	enroll_data
1	Insec	18	13813813813	jungle	2011-05-01
2	Faker	20	13813813812	mid	2012-05-01
3	Looper	22	13813813811	top	2014-05-01
4	Madlife	21	13813813810	support	2015-05-01

此表在文件存储时可以这样表示

1,Insec,18,13813813813,Jungle,2011-05-01

现需要对这个信息文件实现增删改查操作

    1、可进行模糊查询，语法至少支持下面三种：

        a.  select name,age from staff_table where age 18

        b.  select  * from staff_table where  position= "top"

        c.  select  * from staff_table where enroll_date like "2014"

　　  d.  查到的信息，打印后，最后面还要显示查到的条数

    2、可创建新队员记录，以phone做唯一键，id需自增

    3、可删除指定队员信息记录，输入员工id，即可删除

    4、可修改队员信息，语法如下：

　　　　UPDATE staff_table SET position="carry" WHERE where position = "support"

 

以上需求，要充分使用函数，尽最大限度来减少重复代码.