分组键可以有多种方式，且类型不必相同
- 列表或数组， 某长度与待分组的轴一样
- 表示DataFrame某个列名的值
- 字典或Series，给出待分组轴上的值与分组名之间的对应关系
- 函数用于处理轴索引或索引中的各个标签
看一下示例：
import numpy as np
import pandas as pd
df = pd.DataFrame({'key1':['a','a','b','b','a'],
'key2':['one','two','one','two','one'],
'data1':np.random.randn(5),
'data2':np.random.randn(5)})
df
Out[3]:
data1 data2 key1 key2
0 1.236062 -0.576333 a one
1 -1.925623 -0.874375 a two
2 1.472156 -0.005463 b one
3 -0.155766 2.318643 b two
4 -1.961012 -0.947843 a one
按key1分组，并计算data1列的平均值。访问data1，并根据key1调用groupby
#按key1分组，访问data1的平均值
df['data1'].groupby(df['key1']).mean() Out[4]:
key1
a -0.883525
b 0.658195
Name: data1, dtype: float64
数据根据分组键进行了聚合，产生一个新的Series，其索引为key1列中的唯一值
如果一次传入多个数组，就会得到不同的结果
df['data1'].groupby([df['key1'], df['key2']]).mean()
Out[5]:
key1 key2
a one -0.362475
two -1.925623
b one 1.472156
two -0.155766
Name: data1, dtype: float64
#这里，通过两个键进行了分组，得到的Series具有一个层次化索引（由唯一的键对组成）
means.unstack()
Out[7]:
key2 one two
key1
a -0.362475 -1.925623
b 1.472156 -0.155766
GroupBy的size方法，可以返回一个含有分组大小的Series
df.groupby(['key1', 'key2']).size()
Out[13]:
key1 key2
a one 2
two 1
b one 1
two 1
dtype: int64
注意：分组键中的任何缺失 值都会被排除在结果之外
1、对分组进行迭代
GroupBy对象支持迭代，可以产生一组二元元组（由分组名和数据块组成）
for name, group in df.groupby('key1'):
print(name)
print(group)
a
data1 data2 key1 key2
0 1.236062 -0.576333 a one
1 -1.925623 -0.874375 a two
4 -1.961012 -0.947843 a one
b
data1 data2 key1 key2
2 1.472156 -0.005463 b one
3 -0.155766 2.318643 b two
对于多重键的情况，元组的第一个元素将会是由键值组成的元组：
for (k1, k2), group in df.groupby(['key1', 'key2']):
print(k1, k2)
print(group) a one
data1 data2 key1 key2
0 1.236062 -0.576333 a one
4 -1.961012 -0.947843 a one
a two
data1 data2 key1 key2
1 -1.925623 -0.874375 a two
b one
data1 data2 key1 key2
2 1.472156 -0.005463 b one
b two
data1 data2 key1 key2
3 -0.155766 2.318643 b two
你可以对这些数据片段做任何操作，将这些数据片段做成一个字典：
pieces = dict(list(df.groupby('key1')))
pieces
Out[18]:
{'a': data1 data2 key1 key2
0 1.236062 -0.576333 a one
1 -1.925623 -0.874375 a two
4 -1.961012 -0.947843 a one, 'b': data1 data2 key1 key2
2 1.472156 -0.005463 b one
3 -0.155766 2.318643 b two}
pieces['b']
Out[19]:
data1 data2 key1 key2
2 1.472156 -0.005463 b one
3 -0.155766 2.318643 b two
groupby默认在axis = 0 上进行分组的，通过设置也可以在其他任何轴上进行分组
df.dtypes
Out[20]:
data1 float64
data2 float64
key1 object
key2 object
dtype: object
grouped = df.groupby(df.dtypes, axis = 1) dict(list(grouped))
Out[22]:
{dtype('float64'): data1 data2
0 1.236062 -0.576333
1 -1.925623 -0.874375
2 1.472156 -0.005463
3 -0.155766 2.318643
4 -1.961012 -0.947843, dtype('O'): key1 key2
0 a one
1 a two
2 b one
3 b two
4 a one}
2、选取一个或一组列
对于由DataFrame产生的GroupBy对象，如果用一个（单个字符串）或一组（字符串数组）列名对其进行索引，就能实现选取部分列进行聚合的目的。也就是说
df.groupby('key1')['data1']
df.groupby('key1')['data2']
df['data1'].groupby(df['key1'])
df['data2'].groupby(df['key2'])
尤其对于大数据集，很可能只需要对部分列进行聚合
df.groupby(['key1', 'key2'])[['data2']].mean()
Out[25]:
data2
key1 key2
a one -0.762088
two -0.874375
b one -0.005463
two 2.318643
这种索引操作所返回的对象是一个已分组的DataFrame或已分组的Series（如果传入的是标量形式的单个列名）
3、通过字典或Series进行分组
people.ix[2:3, ['b', 'c']] = np.nan #添加几个NA值 people
Out[29]:
a b c d e
joe -0.237225 -0.583231 2.506186 0.764346 2.628579
Steve -0.125559 -0.185558 -0.226190 -1.624512 -0.988784
Wes 0.337773 NaN NaN -2.489380 -0.064929
Jim 1.052081 -0.888873 1.227694 0.809077 1.031245
Travis 0.042581 0.793400 0.316565 -1.098852 0.129532
假设已知列的分组关系，并根据根据分组计算列的总计
#ix再回顾温习一下
mapping = {'a': 'red', 'b': 'red', 'c': 'blue', 'd': 'blue', 'e': 'red', 'f': 'orange'}
#现在只需将这个字典传给groupby即可
by_column = people.groupby(mapping, axis = 1)
by_column.sum() Out[32]:
blue red
joe 3.270531 1.808124
Steve -1.850702 -1.299900
Wes -2.489380 0.272844
Jim 2.036771 1.194453
Travis -0.782287 0.965513
Series也有同样的功能，被看做一个固定大小的映射，如果是Series作为分组键，则pandas会检查Series以确保其索引跟分组轴是对齐的
map_series = pd.Series(mapping) map_series
Out[34]:
a red
b red
c blue
d blue
e red
f orange
dtype: object
people.groupby(map_series, axis = 1).count()
Out[35]:
blue red
joe 2 3
Steve 2 3
Wes 1 2
Jim 2 3
Travis 2 3
4、通过函数进行分组
根据人名的长度进行分组，虽然可以求取一个字符串长度数组，但其实仅仅传入len函数就可以
people.groupby(len).sum()
Out[36]:
a b c d e
3 1.152630 -1.472104 3.733879 -0.915957 3.594895
5 -0.125559 -0.185558 -0.226190 -1.624512 -0.988784
6 0.042581 0.793400 0.316565 -1.098852 0.129532
将函数跟数组、列表、字典、Series混合使用，因为任何东西最终都会被转换为数组
people.groupby([len, key_list]).min() #这个没有理解
Out[38]:
a b c d e
3 one -0.237225 -0.583231 2.506186 -2.489380 -0.064929
two 1.052081 -0.888873 1.227694 0.809077 1.031245
5 one -0.125559 -0.185558 -0.226190 -1.624512 -0.988784
6 two 0.042581 0.793400 0.316565 -1.098852 0.129532
5、根据索引级别分组
层次化索引数据集最方便的地方就在于它能够根据索引级别进行聚合，要实现该目的，通过level关键字传入级别编号或名称即可
columns = pd.MultiIndex.from_arrays([['US', 'US', 'US', 'JP', 'JP'], [1, 3, 5, 1, 3]], names = ['cty', 'tenor']) hier_df = pd.DataFrame(np.random.randn(4, 5), columns = columns) hier_df
Out[41]:
cty US JP
tenor 1 3 5 1 3
0 -0.248738 0.627953 2.071784 0.245686 -1.590562
1 1.723024 0.111605 -0.520688 -0.370661 -0.287072
2 0.061884 -0.502882 0.281061 0.083908 2.224092
3 -0.341529 0.945064 -0.785416 -0.443815 0.186289
hier_df.groupby(level = 'cty', axis =1).count()
Out[42]:
cty JP US
0 2 3
1 2 3
2 2 3
3 2 3
二、数据聚合
任何能够从数组产生标量值的数据转换过程。比如mean、 count 、min 以及 sum等。许多常见的聚合运算都有就地计算数据集统计信息的优化实现
quantile可以计算Series或DataFrame列的样本分位数
df
Out[43]:
data1 data2 key1 key2
0 1.236062 -0.576333 a one
1 -1.925623 -0.874375 a two
2 1.472156 -0.005463 b one
3 -0.155766 2.318643 b two
4 -1.961012 -0.947843 a one
grouped = df.groupby('key1')
grouped
grouped['data1'].quantile(0.9)
Out[47]:
key1
a 0.603725
b 1.309364
Name: data1, dtype: float64
#注意：如果传入的百分位上没有值，则quantile会进行线性插值
实际上，GroupBy会高效地对Series进行切片，然后对各片调用piece， quantile(0.9)， 最后将这些结果组成成最终结果
使用自己的聚合函数，只需将其传入aggregate或agg方法即可
def peak_to_peak(arr):
return arr.max() - arr.min() grouped.agg(peak_to_peak)
Out[49]:
data1 data2
key1
a 3.197074 0.371510
b 1.627922 2.324107
#describe也可以这样用
grouped.describe()
Out[50]:
data1 data2
key1
a count 3.000000 3.000000
mean -0.883525 -0.799517
std 1.835701 0.196743
min -1.961012 -0.947843
25% -1.943318 -0.911109
50% -1.925623 -0.874375
75% -0.344781 -0.725354
max 1.236062 -0.576333
b count 2.000000 2.000000
mean 0.658195 1.156590
std 1.151114 1.643392
min -0.155766 -0.005463
25% 0.251215 0.575563
50% 0.658195 1.156590
75% 1.065176 1.737617
max 1.472156 2.318643
经过优化的groupby方法
1、面向列的多函数应用
#备注，tips没有下载下来，这里仅作为展示实例
grouped = tips.groupby(['sex', 'smoker'])
grouped_pct = grouped(['tip_pct'])
grouped_pct.agg('mean')
grouped_pct.agg('mean', 'std', peak_to_peak)
#以无索引的形式返回聚合数据
tips.groupby(['sex', 'smoker'], as_index = False).mean()
三、分组级运算和转换
transform和apply方法，它能够执行更多其他的分组运算
为一个DataFrame添加 一个用于存储各索引分组平均值的列，一个办法是先聚合再合并
df
Out[51]:
data1 data2 key1 key2
0 1.236062 -0.576333 a one
1 -1.925623 -0.874375 a two
2 1.472156 -0.005463 b one
3 -0.155766 2.318643 b two
4 -1.961012 -0.947843 a one k1_means = df.groupby('key1').mean().add_prefix('mean_') k1_means
Out[53]:
mean_data1 mean_data2
key1
a -0.883525 -0.799517
b 0.658195 1.156590
pd.merge(df, k1_means, left_on = 'key1', right_index = True)
Out[54]:
data1 data2 key1 key2 mean_data1 mean_data2
0 1.236062 -0.576333 a one -0.883525 -0.799517
1 -1.925623 -0.874375 a two -0.883525 -0.799517
4 -1.961012 -0.947843 a one -0.883525 -0.799517
2 1.472156 -0.005463 b one 0.658195 1.156590
3 -0.155766 2.318643 b two 0.658195 1.156590
key = ['one', 'two', 'one', 'two', 'one'] people.groupby(key).mean()
Out[57]:
a b c d e
one 0.047710 0.105085 1.411375 -0.941295 0.897728
two 0.463261 -0.537216 0.500752 -0.407717 0.021231 people.groupby(key).transform(np.mean)
Out[58]:
a b c d e
joe 0.047710 0.105085 1.411375 -0.941295 0.897728
Steve 0.463261 -0.537216 0.500752 -0.407717 0.021231
Wes 0.047710 0.105085 1.411375 -0.941295 0.897728
Jim 0.463261 -0.537216 0.500752 -0.407717 0.021231
Travis 0.047710 0.105085 1.411375 -0.941295 0.897728
不难看出，transform会将一个函数应用到各个分组，然后将结果放置到适当的位置上
假设想从各分组中减去平均值，先创建一个距平化函数，然后将其传给transform
def demean(arr):
return arr - arr.mean() demeaned = people.groupby(key).transform(demean) demeaned
Out[60]:
a b c d e
joe -0.284934 -0.688315 1.094810 1.705641 1.730852
Steve -0.588820 0.351658 -0.726942 -1.216794 -1.010014
Wes 0.290063 NaN NaN -1.548084 -0.962657
Jim 0.588820 -0.351658 0.726942 1.216794 1.010014
Travis -0.005129 0.688315 -1.094810 -0.157557 -0.768195