目录
分组
df.groupby分组函数返回分组对象
去除每组第一条或最后一条数据
获取分组后的每组名称
get_group()按组依据获取其中一组
分组聚合
分组后直接聚合
分组后指定单列或多列聚合
分组后使用多个聚合函数
分组后对多列分别使用不同的聚合函数
分组后使用自定义聚合函数
分箱(数据离散化)
分组
df.groupby分组函数返回分组对象
准备数据
import pandas as pd
# 1.1 df.groupby分组函数返回分组对象
df = pd.read_csv('../data/b_LJdata.csv')
df2 = df.head(20).copy()
df2
1) 基于一列进行分组
gs = df2.groupby(by="区域") # DataFrameGroupBy
print(gs)
print(gs['价格'])
2) 基于多列进行分组
gs = df2.groupby(by=["区域", "户型"])
print(gs)
3) 返回的分组对象可以直接使用，或选择一列做聚合、转换、过滤操作；比如要计算不同区域、不同户型的平均租金
df2.groupby(by=["区域", "户型"])['价格'].mean()
去除每组第一条或最后一条数据
# 分组
gs2 = df2.groupby(by="户型")
# 取出每组第一条数据
gs2.first()
# 取出每组最后一条数据
gs2.last()
获取分组后的每组名称
1) 基于一列分组
# 1.3 获取分组后每组的名称
gs2 = df2.groupby(by="户型")
gs2.grouper.result_index
2) 基于多列分组
gs3 = df2.groupby(by = ["区域","户型"])
print(gs3.grouper.result_index)
get_group()按组依据获取其中一组
gs2.get_group(name='3室1厅')
分组聚合
分组后直接聚合
分组后直接进行聚合计算并返回df
df.groupby(by=[列名1, 列名2, ...]).聚合函数()
# 求 根据 户型 分组, 求平均值
result = df2.groupby(by='户型').mean()
result
分组后指定单列或多列聚合
根据1列或多列的值进行分组后, 每一组都对指定列的值使用聚合函数（比如mean求平均值）进行计算
对一列聚合可以使用一个[], 返回series对象; 也可以使用两个[], 返回dataframe对象
对多列聚合建议使用两个[[]], 返回dataframe对象
df.groupby(['列名1', '列名2'])['指定列1'].聚合函数() df.groupby(['列名1', '列名2'])[['指定列1', '指定列2', ...]].聚合函数()
1) 按户型分组,计算每组价格的平均值
# 求 根据 户型 分组, 求 面积的 平均值
result = df2.groupby(by='户型')["面积"].mean()
print(type(result))
print('================================')
result1 = df2.groupby(by='户型')[["面积"]].mean()
print(type(result1))
result1
2) 按户型分组,计算每组价格和看房人数的平均值
# 求 根据 户型 分组, 求 面积和价格 的平均值
result = df2.groupby(by='户型')[["面积", "价格"]].mean()
result
分组后使用多个聚合函数
同时使用多个内置聚合函数，全部放入一个Python列表, 然后把整个列表传入agg或aggregate函数中；返回以分组列作为索引，每一个聚合计算结果作为列的全新df
df.groupby(['列名1', '列名2'])[['指定列1', '指定列2']].agg(['max', 'min'])
max, min 为pandas内置的聚合函数名
1) 根据 户型 分组, 求 面积和价格 的平均值和求和
# 求 根据 户型 分组, 求 面积和价格 的平均值和求和
result = df2.groupby(by='户型')[["面积", "价格"]].agg(['mean', 'sum'])
result
2) 根据 户型 分组, 求 面积和看房人数 的平均值和求和
result = df2.groupby(by='户型')[["价格", "看房人数"]].agg(['mean', 'sum'])
result
分组后对多列分别使用不同的聚合函数
agg函数中可以传入字典，字典的key是df的列名，与key对应的value是pandas内置的聚合计算函数、其名称的字符串；返回以分组列作为索引，每一个聚合计算结果作为列的全新df
df.groupby(['列名1', '列名2']).agg({ '指定列1':'mean', '指定列2':'sum', '指定列3':'mean' })
1 ) 按户型分组, 计算每组价格的平均值和看房人数的总数
result = df2.groupby(by='户型').agg({"价格":"mean", "看房人数":"sum"})
result
2) 按户型分组, 计算 每组价格的平均值+求和 和 看房人数的总数
# 按户型分组, 计算 每组价格的平均值+求和 和 看房人数的总数
result = df2.groupby(by='户型').agg({"价格":["mean", "sum"], "看房人数":"sum"})
result 
分组后使用自定义聚合函数
1) 自定义函数
# 按户型分组, 计算每组价格和看房人数的平均值
def fn(x):
s_mean = x.sum() / x.size
return s_mean
result = df2.groupby(['户型'])[["价格", "看房人数"]].agg(fn)
result
2) lambda 函数
result = df2.groupby(['户型'])[["价格", "看房人数"]].agg(lambda x: x.sum() / x.size)
result分箱(数据离散化)
-
pd.cut()函数用来把一组数据分割成离散的区间。比如有一组年龄数据，可以使用pandas.cut将价格数据分割成不同的价格段并打上标签。上述过程又叫做分箱。
1) 自定义分箱个数
# 分箱
df3 = df.head(20).copy() # 复制数据集
# 分箱返回Seriers对象并复制给新的列
df3['价格高中低'] = pd.cut(x=df2['价格'], bins=3, labels=['低', '中', '高'])
df3
-
离散化分箱函数的常用参数有：
-
x 指定离散化（分箱）依据的列，Seriers对象
-
bins 分为几组，int类型,也可以传入分组区间的列表
-
labels 每组的标签名称，按数值由小到大的顺序
-
right 默认True:左开右闭;False:左闭右开
-
include_lowest 默认False:不包含第一个分组的起始值;True:包含
-
bins = 3,分区步骤
1) 找出最大值 32000 ,最小值 3700
2) 求两者的差值32000 - 3700 = 28300
3) 区间
(3700 ~ 3700 + 28300/3] 低
(3700 + 28300/3 ~ 3700 + 28300/3*2] 中
(3700 + 28300/3*2 ~ 32000] 高
2) 按自定义价格金额大小分为3组，将每条数据都打上高中低的标签
df4 = df.head(20).copy() # 复制数据集
# 分箱返回Seriers对象并复制给新的列
df4['价格高中低'] = pd.cut(x=df4['价格'], bins=[0,3000,8000,210000],labels=['低', '中', '高'])
df4
3) 分箱后并排序
df2 = df.head(20).copy() # 复制数据集
# 分箱返回Seriers对象并复制给新的列
df2['区间'] = pd.cut(x=df2['价格'], bins=3, labels=['低', '中', '高'])
df2[['价格', '区间']].sort_values(['价格'])
df2 = df.head(20).copy() # 复制数据集
# 分箱返回Seriers对象并复制给新的列
df2['区间'] = pd.cut(x=df2['价格'], bins=[0, 4000, 10000, 200000])
df2[['价格', '区间']].sort_values(['价格']) 