我的第一个python web开发框架(10)——工具函数包说明(一)

时间:2024-01-02 21:45:38

  PS:原先是想直接进入功能开发,要用到什么函数时再创建,这样也容易熟悉每个函数的由来和使用方法,但考虑到这样操作,到时会经常在不同文件间切换,不好描述,容易造成混乱,所以还是使用函数库这种方式来说明。

  下面来说说工具函数包,如果想要快速学会一个新的框架,首先要做的事情就是熟悉工具函数包,一方面,能快速知道有哪些基本功能可以直接调用,不用重复造*;另一方面,查看项目代码时,会比较快的进入角色,能看明白很多代码是做什么用的,因为工具函数包被调用的机率是最大的。

  那么怎么学习呢?当然是有节奏有计划的一步步深入了,我们可以从上到下逐个查看研究,通过查看代码,我们可以基本了解这个包有什么功能,但也仅仅是了解而已,想要真正掌握,必须要去使用它们,最直接的方法就是编写测试用例进行测试,这样就可以很快熟悉并掌握这些函数具体有什么功能与限制。

  PS:大家在学习工具函数,或其他封装好的类或函数时,在开始时不需要去知道它里面每一行代码是做什么用的,为什么要那么写,只需要知道输入什么参数会得出什么值就可以了,这就是大家所说的封装。我们要开汽车,不需要知道它是怎么造出来的,发动机是怎么运行的,只需要知道怎么操作(接口)就可以了。

  我以前遇到过几位爱钻牛角尖的开发者,想弄明白每一行代码为什么要那样写,当那一行所调用的函数看不懂时,就会再深入一层,看看它更底层是什么原理......就这样,一般人用几分钟就可以知道怎么用的,他花几天也弄不明白,花了好长时间也没法写代码。对于初学者来说,学习一个函数怎么使用,不要钻牛角尖,去研究它的内部是怎么运行的,要研究也要等到你以后精通了再说,不然你看到一个函数就去看它的源码,然后源码中又会调用其他库的源码,其他库的源码又会调用python的内核代码,难道你要搞定python的内核代码后才可以开始开发吗?你能搞的定python内核你就是超级大牛了,可以自己开发一种新语言出来了。

  所以说想要快速学习,最好的办法就是知道这个封装好的函数是干嘛的,它需要输入什么参数,会返回什么内容就已经够了。而最快的熟悉方法就是写单元测试,用你能想到的办法去测试,这样就知道什么时候出错,什么时候正常。

  熟悉相关工具函数:

  convert_helper.py是类型转换包,所有字符串转数值、字符串转日期、字符串日期转时间戳等各种类型转换函数,都可以放到这里来。

 #!/usr/bin/evn python
# coding=utf-8 import decimal
import datetime #############################################
# 数值型转换函数
#############################################
def to_int(text):
"""将字符串安全转换为int类型,转换失败时默认值为0"""
try:
return int(text)
except:
return 0 def to_int0(text):
"""将字符串安全转换为int类型,当int值小于0时,返回0"""
result = to_int(text) # 判断转换后的结果值是否小于0,是的话返回0
if not result or result < 0:
return 0
else:
return result def to_int1(text):
"""将字符串安全转换为int类型,当int值小于1时,返回1"""
result = to_int(text) # 判断转换后的结果值是否小于1,是的话返回1
if not result or result < 1:
return 1
else:
return result def to_float(text):
"""将字符串安全转换为float类型"""
try:
return float(text)
except:
return 0.0 def to_decimal(text):
"""将字符串安全转换为int类型"""
try:
return decimal.Decimal(text)
except:
return 0 #############################################
# 日期型转换函数
#############################################
def to_datetime(text):
"""字符串转时间"""
if not text:
return None # 定义字典根据时间字符串匹配不同的格式
time_dict = {
1: "%Y-%m-%d %H:%M:%S.%f",
2: "%Y-%m-%d %H:%M",
3: "%Y-%m-%d %H:%M:%S",
}
# 如果中间含有时间部分就用:判断
try:
if str(text).find('.') > -1:
return datetime.datetime.strptime(text, time_dict[1])
elif ':' in text:
time_list = text.split(':')
return datetime.datetime.strptime(text, time_dict[len(time_list)])
else:
return datetime.datetime.strptime(text, "%Y-%m-%d")
except:
return None def to_date(text):
"""字符串转日期"""
d = to_datetime(text)
if d:
return d.date() def to_timestamp10(text):
"""将时间格式的字符串转化为长度为10位长度的时间戳"""
d = to_datetime(text)
if d:
return int(d.timestamp())
else:
return 0 def to_timestamp13(text):
"""将时间格式的字符串转化为长度为13位长度的时间戳"""
d = to_datetime(text)
if d:
return int(d.timestamp() * 1000)
else:
return 0

  比如说字符转int函数

def to_int(text):
"""将字符串安全转换为int类型,转换失败时默认值为0"""
try:
return int(text)
except:
return 0

  这里我们用try...except...来捕捉转换函数出现的异常,当出现异常时我们设置它的默认值为0,让我们的系统变的更加健壮,不会因为转换失败而崩溃。

  使用这个函数转换出现异常时,我们只是直接将它转换为0,不做记录,因为数值转换时直接抛出异常会让用户体验更差劲,另外对于数值类型来说,如果得出的结果都是0而不是期望值,这也很容易排查出来,在后面章节会讲到web端接收到的请求值都会记录下来,方便我们排错。

def to_int0(text):
"""将字符串安全转换为int类型,当int值小于0时,返回0"""
result = to_int(text) # 判断转换后的结果值是否小于0,是的话返回0
if not result or result < 0:
return 0
else:
return result def to_int1(text):
"""将字符串安全转换为int类型,当int值小于1时,返回1"""
result = to_int(text) # 判断转换后的结果值是否小于1,是的话返回1
if not result or result < 1:
return 1
else:
return result

  大家可能会奇怪,为什么要增加这两个多余的函数?事实上,这两个函数使用频率比前面那个会更高,因为我们在日常使用当中,经常会要求数值不能小于0或小于1,而to_int()函数转换时,用户如果输入了负数,虽然转换成功了,但这个值却不是我们想要的结果,如果每次都要加上一段代码对值进行判断,那会更加麻烦,所以进行了再次封装,多出来to_int0()和to_int()1两个函数。

  对这几个函数我们用unittest测试一下,看看结果。

  我们在test文件夹创建一个convert_helper_test.py文件,并编写测试代码,用来测试输入各种值,看看是否得到我们期望的值。(PS:使用debug运行时,光标在那个函数中,unittest就会运行那个测试函数,所以如果有多个测试函数要运行时,最好用鼠标点击一下main函数,即入口函数,再运行debug,这样全部测试函数都会运行到)

#!/usr/bin/evn python
# coding=utf-8 import datetime
import unittest
from common import convert_helper class ConvertHelperTest(unittest.TestCase):
"""转换操作包测试类""" def setUp(self):
"""初始化测试环境"""
print('------ini------') def tearDown(self):
"""清理测试环境"""
print('------clear------') def test_to_int(self):
self.assertEqual(convert_helper.to_int(''), 1)
self.assertEqual(convert_helper.to_int('1.0'), 0)
self.assertEqual(convert_helper.to_int('1a'), 0)
self.assertEqual(convert_helper.to_int('aaa'), 0)
self.assertEqual(convert_helper.to_int(''), 0)
self.assertEqual(convert_helper.to_int(None), 0)
self.assertEqual(convert_helper.to_int('-1'), -1)
self.assertEqual(convert_helper.to_int(10), 10)
self.assertEqual(convert_helper.to_int(-10), -10) self.assertEqual(convert_helper.to_int0(''), 1)
self.assertEqual(convert_helper.to_int0('1.0'), 0)
self.assertEqual(convert_helper.to_int0('1a'), 0)
self.assertEqual(convert_helper.to_int0('aaa'), 0)
self.assertEqual(convert_helper.to_int0(''), 0)
self.assertEqual(convert_helper.to_int0(None), 0)
self.assertEqual(convert_helper.to_int0('-1'), 0)
self.assertEqual(convert_helper.to_int0(10), 10)
self.assertEqual(convert_helper.to_int0(-10), 0) self.assertEqual(convert_helper.to_int1(''), 1)
self.assertEqual(convert_helper.to_int1('1.0'), 1)
self.assertEqual(convert_helper.to_int1('1a'), 1)
self.assertEqual(convert_helper.to_int1('aaa'), 1)
self.assertEqual(convert_helper.to_int1(''), 1)
self.assertEqual(convert_helper.to_int1(None), 1)
self.assertEqual(convert_helper.to_int1('-1'), 1)
self.assertEqual(convert_helper.to_int1(10), 10)
self.assertEqual(convert_helper.to_int1(-10), 1) if __name__ == '__main__':
unittest.main()

  在这个单元测试中,我们使用的是python自带的unittest这个模块。

  这里我们调用了unittest的断言函数assertEqual(等于)来判断convert_helper包的to_int()、to_int0()、to_int1()函数的执行结果是否和我们设定的值一致

  通过测试可以看到,to_int系列函数的值是不一样的:

输入值

调用函数

to_int()

调用函数

to_int0()

调用函数

to_int1()

非数值型字符串 0 0 1
-1 -1 0 1
10 10 10 10

  unittest还有很多其他断言函数提供给我们使用,比如assertNotEqual(不等于)、assertGreaterEqual(大于等于)、assertGreater(大于)、assertAlmostEqual(约等于)、assertIsNotNone(不等于None)、assertIn(in)、assertNotIn(not in)、assertIs(is)、assertDictEqual(字典比较)、assertListEqual(列表比较)......还有好多其他类型的判断处理。

  使用单元测试除了上面所说的好处外,它还可以帮助我们实现自动化测试。比如说项目开发的过程中,有人修改了底层的这些工具函数,增加了新的判断处理,这可能只是一个小小的修改,大家都觉得不会有什么问题,但有可能这点小改动会造成灾难性的故障(我本人就试过,有些很小很小的改动,对多个合作客户调用的接口测试过也没有问题,可没想到遗漏了另外一个客户的测试,然后造成那个合作客户的用户访问都出现异常,无法从我的系统中读取到数据)。而有了这些已经实现了的自动化测试用例在,修改过或上线前,只需要简单的点一下运行,就可以帮我们对所有函数都进行全面的测试,帮我们及时找到可能出现的Bug。

  对于float类型数值和decimal类型数值,如果有需要,大家也可以自己去添加0或1最小值的判断。

  to_datetime()函数,会根据输入的日期字符串格式,转换成对应的日期(如:2017-09-01)、日期时间(2017-09-01 11:11)、日期时分秒(2017-09-01 11:11:11)、日期时分秒毫秒类型(2017-09-01 11:11:11.111),得到的值是datetime类型

  当然也可以直接使用打印输出结果的方式来进行测试,不过结果无法自动进行判断是否是我们期望的值

    def test_to_datetime(self):
print('---test_to_datetime---')
print(convert_helper.to_datetime(None))
print(convert_helper.to_datetime(''))
print(convert_helper.to_datetime('xxx'))
print(convert_helper.to_datetime('2017-09-01'))
print(convert_helper.to_datetime('2017-09-01 11:11'))
print(convert_helper.to_datetime('2017-09-0111:11'))
print(convert_helper.to_datetime('2017-09-01 11:11:11'))
print(convert_helper.to_datetime('2017-09-01 11:11:11.111'))

  得到的结果是:

---test_to_datetime---
None
None
None
2017-09-01 00:00:00
2017-09-01 11:11:00
None
2017-09-01 11:11:11
2017-09-01 11:11:11.111000

  对于日期类的测试如果使用断言,我们通常要创建生成一个日期变量,然后在进行判断

        self.assertEqual(convert_helper.to_datetime(None), None)
self.assertEqual(convert_helper.to_datetime(''), None)
self.assertEqual(convert_helper.to_datetime('xxx'), None)
result = datetime.datetime(2017, 9, 1)
self.assertEqual(convert_helper.to_datetime('2017-09-01'), result)
result = datetime.datetime(2017, 9, 1, 11, 11)
self.assertEqual(convert_helper.to_datetime('2017-09-01 11:11'), result)
self.assertEqual(convert_helper.to_datetime('2017-09-0111:11'), None)
result = datetime.datetime(2017, 9, 1, 11, 11, 11)
self.assertEqual(convert_helper.to_datetime('2017-09-01 11:11:11'), result)
result = datetime.datetime(2017, 9, 1, 11, 11, 11, 111000)
self.assertEqual(convert_helper.to_datetime('2017-09-01 11:11:11.111'), result)

  to_date()函数是用来将各种格式的日期字符串,转换为只含年月日(2017-09-01)的日期格式,具体大家使用代码测试一下就知道了

  to_timestamp10()函数是用来将各种格式的日期字符串,转换为长度为10位长度的时间戳

  to_timestamp13()函数是用来将各种格式的日期字符串,转换为长度为13位长度的时间戳

  具体这些测试例子,可下载文章后面的源码包查看了解

  下面我们来熟悉一下datetime_helper.py这个日期函数操作包,这个包里的函数类型主要有两大类,一种是日期类型转换,将日期类型格式化为字符串类型或转换为数值类型;另一种是对日期类型的比较或运算。

  先上代码:

 #!/usr/bin/evn python
# coding=utf-8 import time
import datetime def to_date(dt):
"""将时间格式化为日期字符串"""
if isinstance(dt, datetime.datetime):
return dt.strftime('%Y-%m-%d')
elif isinstance(dt, datetime.date):
return dt.strftime('%Y-%m-%d')
else:
raise Exception("日期类型错误") def to_datetime(dt):
"""将时间格式化为日期时间字符串"""
if isinstance(dt, datetime.datetime):
return dt.strftime('%Y-%m-%d %H:%M:%S')
elif isinstance(dt, datetime.date):
return dt.strftime('%Y-%m-%d')
else:
raise Exception("日期类型错误") def to_number():
"""当前时间转换为年月日时分秒毫秒共10位数的字符串"""
return datetime.datetime.now().strftime('%Y%m%d%H%M%S') def to_timestamp10():
"""获取当前时间长度为10位长度的时间戳"""
return int(time.time()) def to_timestamp13():
"""获取当前时间长度为13位长度的时间戳"""
return int(time.time() * 1000) def timedelta(sign, dt, value):
"""
对指定时间进行加减运算,几秒、几分、几小时、几日、几周、几月、几年
sign: y = 年, m = 月, w = 周, d = 日, h = 时, n = 分钟, s = 秒
dt: 日期,只能是datetime或datetime.date类型
value: 加减的数值
return: 返回运算后的datetime类型值
"""
if not isinstance(dt, datetime.datetime) and not isinstance(dt, datetime.date):
raise Exception("日期类型错误") if sign == 'y':
year = dt.year + value
if isinstance(dt, datetime.date):
return datetime.datetime(year, dt.month, dt.day)
elif isinstance(dt, datetime.datetime):
return datetime.datetime(year, dt.month, dt.day, dt.hour, dt.minute, dt.second, dt.microsecond)
else:
return None
elif sign == 'm':
year = dt.year
month = dt.month + value
### 如果月份加减后超出范围,则需要计算一下,对年份进行处理 ###
# 如果月份加减后等于0时,需要特殊处理一下
if month == 0:
year = year - 1
month = 12
else:
# 对年月进行处理
year = year + month // 12
month = month % 12
if isinstance(dt, datetime.date):
return datetime.datetime(year, month, dt.day)
elif isinstance(dt, datetime.datetime):
return datetime.datetime(year, month, dt.day, dt.hour, dt.minute, dt.second, dt.microsecond)
else:
return None
elif sign == 'w':
delta = datetime.timedelta(weeks=value)
elif sign == 'd':
delta = datetime.timedelta(days=value)
elif sign == 'h':
delta = datetime.timedelta(hours=value)
elif sign == 'n':
delta = datetime.timedelta(minutes=value)
elif sign == 's':
delta = datetime.timedelta(seconds=value)
else:
return None return dt + delta

  to开头的函数都是时间类型转换函数(PS:convert_helper.py包里是对日期格式字符串转为时间类型,而datetime_helper.py里所有操作,都是对时间类型进行处理的,将它们转为其他格式)

  比如to_date()和to_datetime(),这两个函数分别是将时间类型格式化为年月日(2017-09-01)、年月日时分秒(2017-09-01 11:11:11)或数值字符串(20170901111111)

def to_date(dt):
"""将时间格式化为日期字符串"""
if isinstance(dt, datetime.datetime):
return dt.strftime('%Y-%m-%d')
elif isinstance(dt, datetime.date):
return dt.strftime('%Y-%m-%d')
else:
raise Exception("日期格式错误") def to_datetime(dt):
"""将时间格式化为日期时间字符串"""
if isinstance(dt, datetime.datetime):
return dt.strftime('%Y-%m-%d %H:%M:%S')
elif isinstance(dt, datetime.date):
return dt.strftime('%Y-%m-%d')
else:
raise Exception("日期格式错误") def to_number():
"""将当前时间转换为年月日时分秒毫秒共14位数的字符串"""
return datetime.datetime.now().strftime('%Y%m%d%H%M%S')

  而to_timestamp10()和to_timestamp13()是获取当前时间的时间戳

def to_timestamp10():
"""获取当前时间长度为10位长度的时间戳"""
return int(time.time()) def to_timestamp13():
"""获取当前时间长度为13位长度的时间戳"""
return int(time.time() * 1000)

  对这种输出类型的函数测试,我们测试时直接打印到控制台就可以了

  在test文件夹中创建datetime_helper_test.py文件,然后通过打印来查看各函数会输出什么值

#!/usr/bin/evn python
# coding=utf-8 import datetime
import unittest
from common import datetime_helper class DatetimeHelperTest(unittest.TestCase):
"""日期函数操作包测试类""" def setUp(self):
"""初始化测试环境"""
print('------ini------') def tearDown(self):
"""清理测试环境"""
print('------clear------') def test(self):
dt = datetime.datetime.now()
print(datetime_helper.to_datetime(dt))
print(datetime_helper.to_date(dt))
print(datetime_helper.to_number())
print(datetime_helper.to_timestamp10())
print(datetime_helper.to_timestamp13())
if __name__ == '__main__':
unittest.main()

  运行后打印到控制台上的值:

------ini------
2017-09-01 18:45:39
2017-09-01
20170901184539
1504262739
1504262739217
------clear------

  

 def timedelta(sign, dt, value):
"""
对指定时间进行加减运算,几秒、几分、几小时、几日、几周、几月、几年
sign: y = 年, m = 月, w = 周, d = 日, h = 时, n = 分钟, s = 秒
dt: 日期,只能是datetime或datetime.date类型
value: 加减的数值
return: 返回运算后的datetime类型值
"""
if not isinstance(dt, datetime.datetime) and not isinstance(dt, datetime.date):
raise Exception("日期类型错误") if sign == 'y':
year = dt.year + value
if isinstance(dt, datetime.date):
return datetime.datetime(year, dt.month, dt.day)
elif isinstance(dt, datetime.datetime):
return datetime.datetime(year, dt.month, dt.day, dt.hour, dt.minute, dt.second, dt.microsecond)
else:
return None
elif sign == 'm':
year = dt.year
month = dt.month + value
### 如果月份加减后超出范围,则需要计算一下,对年份进行处理 ###
# 如果月份加减后等于0时,需要特殊处理一下
if month == 0:
year = year - 1
month = 12
else:
# 对年月进行处理
year = year + month // 12
month = month % 12
if isinstance(dt, datetime.date):
return datetime.datetime(year, month, dt.day)
elif isinstance(dt, datetime.datetime):
return datetime.datetime(year, month, dt.day, dt.hour, dt.minute, dt.second, dt.microsecond)
else:
return None
elif sign == 'w':
delta = datetime.timedelta(weeks=value)
elif sign == 'd':
delta = datetime.timedelta(days=value)
elif sign == 'h':
delta = datetime.timedelta(hours=value)
elif sign == 'n':
delta = datetime.timedelta(minutes=value)
elif sign == 's':
delta = datetime.timedelta(seconds=value)
else:
return None return dt + delta

  timedelta()函数,它主要用于时间的加减运算,可以得出加减几秒、几分、几小时、几日、几周、几月、几年后的时间值是什么,这个函数在实际开发中使用频率还算是挺高的。

  PS:原datetime.timedelta函数没有对年和月的加减运算,对这个我进行了扩展,增加了年和月的加减计算

   def test_timedelta(self):
print('---test_timedelta---')
result = datetime.datetime(2018, 9, 1)
print(result)
self.assertEqual(datetime_helper.timedelta('y', datetime.datetime(2017, 9, 1), 1), result)
result = datetime.datetime(2016, 9, 1)
print(result)
self.assertEqual(datetime_helper.timedelta('y', datetime.datetime(2017, 9, 1), -1), result)
result = datetime.datetime(2018, 3, 1)
print(result)
self.assertEqual(datetime_helper.timedelta('m', datetime.datetime(2017, 9, 1), 6), result)
result = datetime.datetime(2017, 3, 1)
print(result)
self.assertEqual(datetime_helper.timedelta('m', datetime.datetime(2017, 9, 1), -6), result)
result = datetime.datetime(2017, 3, 1)
print(result)
self.assertEqual(datetime_helper.timedelta('m', datetime.datetime(2017, 9, 1), -6), result)
result = datetime.datetime(2017, 9, 8)
print(result)
self.assertEqual(datetime_helper.timedelta('w', datetime.datetime(2017, 9, 1), 1), result)
result = datetime.datetime(2017, 8, 25)
print(result)
self.assertEqual(datetime_helper.timedelta('w', datetime.datetime(2017, 9, 1), -1), result)
result = datetime.datetime(2017, 9, 2)
print(result)
self.assertEqual(datetime_helper.timedelta('d', datetime.datetime(2017, 9, 1), 1), result)
result = datetime.datetime(2017, 8, 31)
print(result)
self.assertEqual(datetime_helper.timedelta('d', datetime.datetime(2017, 9, 1), -1), result)
result = datetime.datetime(2017, 9, 1, 1)
print(result)
self.assertEqual(datetime_helper.timedelta('h', datetime.datetime(2017, 9, 1), 1), result)
result = datetime.datetime(2017, 8, 31, 23)
print(result)
self.assertEqual(datetime_helper.timedelta('h', datetime.datetime(2017, 9, 1), -1), result)
result = datetime.datetime(2017, 9, 1, 0, 1)
print(result)
self.assertEqual(datetime_helper.timedelta('n', datetime.datetime(2017, 9, 1), 1), result)
result = datetime.datetime(2017, 8, 31, 23, 59)
print(result)
self.assertEqual(datetime_helper.timedelta('n', datetime.datetime(2017, 9, 1), -1), result)
result = datetime.datetime(2017, 9, 1, 0, 0, 1)
print(result)
self.assertEqual(datetime_helper.timedelta('s', datetime.datetime(2017, 9, 1), 1), result)
result = datetime.datetime(2017, 8, 31, 23, 59, 59)
print(result)
self.assertEqual(datetime_helper.timedelta('s', datetime.datetime(2017, 9, 1), -1), result)

  运行后打印到控制台上的值:

------ini------
---test_timedelta---
2018-09-01 00:00:00
2016-09-01 00:00:00
2018-03-01 00:00:00
2017-03-01 00:00:00
2017-03-01 00:00:00
2017-09-08 00:00:00
2017-08-25 00:00:00
2017-09-02 00:00:00
2017-08-31 00:00:00
2017-09-01 01:00:00
2017-08-31 23:00:00
2017-09-01 00:01:00
2017-08-31 23:59:00
2017-09-01 00:00:01
2017-08-31 23:59:59
------clear------

  本文对应的源码下载

版权声明:本文原创发表于 博客园,作者为 AllEmpty 本文欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则视为侵权。

python开发QQ群:669058475(本群已满)、733466321(可以加2群)    作者博客:http://www.cnblogs.com/EmptyFS/