Python pandas库 ->groupby分组操作

首先 在SQL中 分组操作group by是对行记录的拆分

在pandas中 分组操作groupby可以选择对行或者列进行拆分

pandas分组之后可以根据每组的组名value(非列名)访问部分数据 因为分组后默认以组名作为索引 groupby默认参数as_index=True

如果设置as_index=False 分组后所有的列名不变 

类似于SQL中 group by之后的having 分组列名=value

最后都是用聚合方法 合并计算数据

import numpy as np
import pandas as pd
from pandas import DataFrame,Series
df1=DataFrame({'symbol':['001','001','002','002','003'],
'tdate':['201901','201902','201901','201902','201901'],
'open':np.random.randint(0,50,5),
'close':np.random.randint(50,100,5)})

print(df1)

grp1=df1.groupby('symbol')
grp2=df1.groupby(['symbol','tdate'])

print('#可用循环语句访问组名和每组的内容')
for name,group in grp1:
    print(name)
    print(group)

print('#通过组名访问数据')
print(grp1.get_group('001'))
print(grp2.get_group(('001','201901')))
    
print('#计算指定列的均值 三种等价写法')
print(grp1.open.mean())
print(grp1.open.agg('mean')) #这里函数mean要加引号 如果是自定义函数不需要
print(grp1.agg({'open':'mean'})) #这里指定了列名 返回DataFrame而非Series

print('#计算指定列的指定聚合方法')
def my_func(x):
    return max(x)-min(x)
print(grp1.open.agg(my_func))
print(grp1.open.agg(lambda x:max(x)-min(x))) #用匿名函数

print('#对指定列进行计算处理')
print(grp1.open.apply(lambda x:x+100))

结果如下图

 

同时 pandas可以直接对列进行拆分 设置groupby 参数axis=1即可

这个在SQL中是难以做到的

import numpy as np
import pandas as pd
from pandas import DataFrame,Series
df1=DataFrame({'symbol':['001','001','002','002','003'],
'tdate':['201901','201902','201901','201902','201901'],
'open':np.random.randint(0,50,5),
'close':np.random.randint(50,100,5)})

print(df1)

print('#'*20)

grp3=df1.groupby(df1.dtypes,axis=1)
grp4=df1.groupby({'symbol':'a','tdate':'a','open':'b','close':'b'},axis=1)

for name,group in grp3:
    print(name)
    print(group)
    
print('#'*20)

for name,group in grp4:
    print(name)
    print(group)
    if name=='b':
        print('#根据组名访问')
        print(grp4.get_group(name))
        print('#聚合操作')
        print(grp4.get_group(name).mean()) 

结果如下图

 谢谢!