最近在用python做数据统计,这里总结了一些最近使用时查找和总结的一些小技巧,希望能帮助在做这方面时的一些童鞋。有些技巧是很平常的用法,平时我们没有注意,但是在特定场景,这些小方法还是能带来很大的帮助。
1.在字典中将键映射到多个值上面
1
2
|
{ 'b' : [ 4 , 5 , 6 ],
'a' : [ 1 , 2 , 3 ]}
|
有时候我们在统计相同key值的时候,希望把所有相同key的条目添加到以key为键的一个字典中,然后再进行各种操作,这时候我们就可以使用下面的代码进行操作:
1
2
3
4
5
6
7
8
9
10
11
12
13
|
from collections import defaultdict
d = defaultdict( list )
print (d)
d[ 'a' ].append( 1 )
d[ 'a' ].append( 2 )
d[ 'a' ].append( 3 )
d[ 'b' ].append( 4 )
d[ 'b' ].append( 5 )
d[ 'b' ].append( 6 )
print (d)
print (d.get( "a" ))
print (d.keys())
print ([d.get(i) for i in d])
|
这里是使用了collections中的方法,这里面还拥有很多有用的方法,我们有时间在继续进行深入了解。
上面代码运行结果:
1
2
3
4
5
|
defaultdict(, {})
defaultdict(, { 'b' : [ 4 , 5 , 6 ], 'a' : [ 1 , 2 , 3 ]})
[ 1 , 2 , 3 ]
dict_keys([ 'b' , 'a' ])
[[ 4 , 5 , 6 ], [ 1 , 2 , 3 ]]
|
我们将数据填入之后,相当于进行快速分组,然后遍历每个组就可以统计一些我们需要的数据。
2.迅速转换字典键值对
1
2
|
data = {...}
zip (data.values(), data.keys())
|
data是我们的格式数据,使用zip后进行快速键值转换,然后可以使用max,min之类函数进行数据操作。
3.通过公共键对字典进行排序
1
2
3
4
5
6
7
8
|
from operator import itemgetter
data = [
{ 'name' : "bran" , "uid" : 101 },
{ 'name' : "xisi" , "uid" : 102 },
{ 'name' : "land" , "uid" : 103 }
]
print ( sorted (data, key = itemgetter( "name" )))
print ( sorted (data, key = itemgetter( "uid" )))
|
数据格式就是data,我们想要对name或者uid进行排序我们就是用代码中的方法。
运行结果:
1
2
|
[{ 'name' : 'bran' , 'uid' : 101 }, { 'name' : 'land' , 'uid' : 103 }, { 'name' : 'xisi' , 'uid' : 102 }]
[{ 'name' : 'bran' , 'uid' : 101 }, { 'name' : 'xisi' , 'uid' : 102 }, { 'name' : 'land' , 'uid' : 103 }]
|
正如我们期望中的一样
4.对列表中的多个字典根据某一字段进行分组
注意注意,在进行分组前要首先对数据进行排序处理,排序字段根据实际要求来选择
即将处理的数据:
1
2
3
4
5
|
rows = [
{ 'name' : "bran" , "uid" : 101 , "class" : 13 },
{ 'name' : "xisi" , "uid" : 101 , "class" : 11 },
{ 'name' : "land" , "uid" : 103 , "class" : 10 }
]
|
期望处理结果:
1
2
3
4
|
{
101 : [{ 'name' : 'xisi' , 'class' : 11 , 'uid' : 101 },{ 'name' : 'bran' , 'class' : 13 , 'uid' : 101 }],
103 : [{ 'name' : 'land' , 'class' : 10 , 'uid' : 103 }]
}
|
我们按照uid进行分组,这里只是演示,uid一般也不会重复。
这个比较复杂一点,我们一部一步来分解
1
2
|
some = [( 'a' , [ 1 , 2 , 3 ]), ( 'b' , [ 4 , 5 , 6 ])]
print ( dict (some))
|
结果:
1
|
{ 'b' : [ 4 , 5 , 6 ], 'a' : [ 1 , 2 , 3 ]}
|
这里我们的目的是将元组转换成字典,这个很简单,应该都能看懂。接着我们来下一步对待处理数据进行排序:
1
2
3
4
|
data_one = sorted (rows, key = itemgetter( "class" ))
print (data_one)
data_two = sorted (rows, key = lambda x: (x[ "uid" ], x[ "class" ]))
print (data_two)
|
这里我们提供两种排序方式原理相同,只是样式稍有区别,第一种data_one是直接使用itemgetter,按照我们前面使用过得,直接按照某一字段进行排序,可是有时候我们会有另一种要求:
先按照某一字段排序,当第一字段重复时,再按照另一字段排序。
这时我们就用第二种方法,进行多字段值排序。
排序结果如下:
1
2
|
[{ 'name' : 'land' , 'class' : 10 , 'uid' : 103 }, { 'name' : 'xisi' , 'class' : 11 , 'uid' : 101 }, { 'name' : 'bran' , 'class' : 13 , 'uid' : 101 }]
[{ 'name' : 'xisi' , 'class' : 11 , 'uid' : 101 }, { 'name' : 'bran' , 'class' : 13 , 'uid' : 101 }, { 'name' : 'land' , 'class' : 10 , 'uid' : 103 }]
|
结果大家慢慢看一下,还是略有差别。
接下来就进行最后一步了,将我们刚才讲的两种方式结合起来使用:
1
2
|
data = dict ([(g, list (k)) for g, k in groupby(data_two, key = lambda x: x[ "uid" ])])
print (data)
|
我们对排序好的数据进行分组,然后生成元组列表,最后将其转换成字典,这里大功告成,我们成功将数据进行分组。
python数据统计的一些小技巧就分享到这,有需要的可以参考学习。