Pandas 分组聚合 ：分组、分组对象操作
1、概述
1.1 group语法
df.groupby(self, by=None, axis=0, level=None,
as_index: bool=True, sort: bool=True,
group_keys: bool=True,
squeeze: bool=False,
observed: bool=False, dropna=True)
📣
其中 by 为分组字段，由于是第一个参数可以省略，可以按列表给多个。会返回一个groupby_generic.DataFrameGroupBy对象，如果不给定聚合方法，不会返回 DataFrame。
1.2 DateFrame应用分组
#按team进行分组，并求和
df.groupby('team').sum()
#对不同列进行不同的聚合计算，对分组对象使用agg，传入函数字典
#对分组后的同一列进行不同运算
df.groupby('team').agg({'Q1':['sum','max'],'Q2':['count','mean']})
1.3 Series应用分组
⭐如果给groupby的by参数传入一个Series，此series与分组数据的索引对齐后，按series的值进行分组
df.groupby(by=df.team).sum()
df.Q1.groupby(df.team).sum()
2、分组
⭐df.groupby()会生成一个分组对象，把这个对象的各个字段按照一定的聚合方法输出
下面介绍，分组对象 and 分组对象的方法有哪些
2.1 分组对象
2.2 按标签分组
⭐按某一列/多列进行分组
⭐如果是多列，会按照这几个列的排列组合的去重，进行分组，并且get_group()时要传入元组
grouped = df.groupby('team')
grouped.get_group('A')
grouped = df.groupby(['team','name'])
grouped.get_group(('A','Ack'))
2.3 表达式
将数据分为ture 和 false两组
grouped = df.groupby(lambda x: x>60)
grouped.sum()
df.groupby(lambda x: 'Q' in x,axis=1).sum() #按列名是否包含字母Q，分成两列 ‘name’和‘team’不包含被分到了一起
# 按索引的奇偶行分组
df.groupby(df.index%2==0).sum()
2.4 函数分组
:satr:by参数可以调用一个函数，通过函数计算返回一个分组依据
#按姓名首字母为元音or辅音分组
def first_letter(name):
if name[0].lower() in 'aeiou':
return 'yuan yin'
return 'fu yin'
df.set_index('name').groupby(first_letter).sum()
2.5 多种方法混合
by参数传一个list
df.groupby(['team',df.name.apply(first_letter)]).sum()
3、分组对象操作
3.1 选择分组
3.2 迭代分组
for name, item in grouped:
print(name)
print(item)
3.3 选择列
#选择分组后各组的某一列，像df那样选择即可
grouped.Q1.sum()
#选择多列
grouped['Q1','Q2'].sum()
3.4 应用函数apply
⭐分组对象调用apply，是传入一个df，返回经过函数计算后的df，s，或者标量，再把数据组合
#将Q1的数据*2
grouped.apply(lambda x:x.Q1*2)
'''
```
team
A 2 114
7 18
9 154
16 126
17 182
...
E 80 184
82 8
90 76
98 22
99 42
Name: Q1, Length: 100, dtype: int64
```
'''
#见分组中的一列输出为列表
grouped.apply(lambda x:x.Q1.to_list())
'''
```
team
A [57, 9, 77, 63, 91, 60, 44, 30, 52, 86, 28, 64...
B [61, 17, 9, 80, 89, 57, 9, 97, 2, 66, 18, 21, ...
C [36, 93, 24, 83, 51, 80, 50, 91, 90, 1, 29, 69...
D [65, 64, 79, 80, 62, 15, 24, 57, 50, 79, 5, 14...
E [89, 48, 97, 74, 71, 35, 67, 88, 48, 8, 8, 12,...
dtype: object
```
'''
#实现每组成绩前三
def get_head(df):
df['sum']=df.sum(1)
df = df.sort_values('sum',ascending = False)
return df.head(3)
df.set_index('name').groupby('team').apply(get_head)
#传入一个series，隐射系列不同的聚合统计方法
def f_mi(x):
d = []
d.append(x['Q1'].sum())
d.append(x['Q2'].max())
d.append(x['Q3'].mean())
d.append(x['Q4']*x['Q4'].sum())
return pd.Series(d,index=[['Q1','Q2','Q3','Q4'],['sum','max','mean','prodsum']])
df.groupby('team').apply(f_mi)
3.5 管道方法pipe
类似于df的管道方法
⭐将同组的所有数据应用在方法中，返回的是经过函数处理的返回数据格式
#每组最大值和最小值之和
grouped.pipe(lambda x:x.max()+x.min())
#下面使用自定义函数，经过计算，返回一个Series
#A/B组平均值的差值
def get_mean(df):
return df.get_group('A').mean()-df.get_group('B').mean()
grouped.pipe(get_mean)
'''
```
Q1 18.387701
Q2 -17.775401
Q3 -3.165775
Q4 -5.577540
dtype: float64
```
'''
3.6 转换方法transform
:satr:transform（）类似于agg，但transform会返回与原始数据相同形状的DateFrame
- 会将原来数据的值一一替换成统计后的值
例如：按组计算平均成绩，那么返回的新的df中每个学生的成绩就是它所在组的平均成绩
#将所有数据替换成分组中的平均成绩
grouped.transform('mean')
#可以用它进行按组筛选
#Q1成绩大于60的组的所有成员
df[grouped.transform('mean').Q1>60]
3.7 筛选方法filter
⭐使用filter（）对组作为整体进行筛选，满足条件，整个组会被显示 传入它调用的函数的默认变量是每个分组的DateFrame，经过计算，最终返回一个布尔值，为真的DateFrame全部显示
#按团队分组，每组的每个季度成绩为本季度的的平均分
#全年的成绩为这个季度的平均分的平均费
#最终筛选出团队中分数高于51的所有成员
def get_score(df):
score = 51
return df.mean().mean() > score
df.groupby('team').filter(get_score)
# Q1成绩至少有一个大于97的组
grouped.filter(lambda x:(x.Q1>97).any())
#所有成员平均成绩大于60的组
grouped.filter(lambda x: (x.mean()>30).all())
4、参考文献
《深入浅出Pandas》
