经过前面的学习，我们已经将数据准备就绪而且变成了我们想要的样子
接下来就是最为重要的数据透视阶段了。当我们拿到一大堆数据的时候，如何从数据中迅速的解读出有价值的信息
把繁杂的数据变成容易解读的统计图表并再此基础上产生业务洞察，这就是数据分析要解决的核心问题。
数据透视
# -*- coding: utf-8 -*-
#数据透视
import numpy
import pandas
scores = numpy.random.randint(50, 101, (5, 3)) # 生成5行3列的随机整数矩阵
names = ('关羽', '张飞', '赵云', '马超', '黄忠')
courses = ('语文', '数学', '英语')
# 生成DataFrame
#index: 索引列（第一列）
#columns: 表头
df = pandas.DataFrame(data=scores, columns=courses, index=names)
print(df)
'''
语文 数学 英语
关羽 77 74 70
张飞 64 93 64
赵云 75 50 97
马超 90 86 76
黄忠 52 58 75
'''
#我们可以通过DataFrame对象的方法:
# mean、max、min、std、var等方法分别获取每个学生或每门课程的平均分、最高分、最低分、标准差、方差等信息，
# 也可以直接通过describe方法直接获取描述性统计信息
print(df.mean())
print(df.mean(axis=1)) # axis=1表示按行计算
print(df.var()) # 方差
print(df.describe()) # 统计信息 -推荐
print('-------------------------------------')
#排序和取头部值""
# 排序 sort_values(by='指定哪一列进行排序', ascending=True/False) 默认升序True
print(df.sort_values(by='语文', ascending=False))
#nlargest和nsmallest方法就提供对Top-N操作 - 如取排名前几名的数据
#找出语文成绩前3名的学生
#df.nalargest(n, columns, keep='first') 参数n表示取前几名，columns表示哪一列，keep表示保留排名前几名的数据
print(df.nlargest(3, '语文'))
#找出数学成绩最低的3名学生的信息。
print(df.nsmallest(3, '数学'))
print('========================================================================')
#分组聚合
df1 = pandas.read_excel('file/2020年销售数据.xlsx')
print(df1.head())
# 统计每个销售区域的销售总额
#1、先通过“售价”和“销售数量”计算出销售额，为DataFrame添加一个列
df1['销售额'] = df1['售价'] * df1['销售数量'] #
print(df1.head())
'''
销售日期 销售区域 销售渠道 销售订单 品牌 售价 销售数量 销售额
0 2020-01-01 上海 拼多多 182894-455 八匹马 99 83 8217
1 2020-01-01 上海 抖音 205635-402 八匹马 219 29 6351
2 2020-01-01 上海 天猫 205654-021 八匹马 169 85 14365
3 2020-01-01 上海 天猫 205654-519 八匹马 169 14 2366
4 2020-01-01 上海 天猫 377781-010 皮皮虾 249 61 15189
'''
# 2、 再根据“销售区域”列对数据进行分组，这里我们使用的是DataFrame对象的groupby方法。分组之后，我们取“销售额”这个列在分组内进行求和处理
print(df1.groupby('销售区域').销售额.sum())
'''
销售区域 (这一列就是一个区域销售额的总和)
上海 11610489
北京 12477717
安徽 895463
广东 1617949
江苏 2304380
浙江 687862
福建 10178227
Name: 销售额, dtype: int64
'''
#如果我们要统计每个月的销售总额，我们可以将“销售日期”作为groupby`方法的参数，当然这里需要先将“销售日期”处理成月
#df1['销售日期'].dt.month # 获取月份
#df1['销售日期'].dt.year # 获取年份
#df1['销售日期'].dt.day # 获取日
print(df1.groupby(df1['销售日期'].dt.month).销售额.sum())
'''
销售日期
1 5409855
2 4608455
3 4164972
4 3996770
5 3239005
6 2817936
7 3501304
8 2948189
9 2632960
10 2375385
11 2385283
12 1691973
Name: 销售额, dtype: int64
'''
# 3、统计每个销售区域每个月的销售总额
#groupby方法的第一个参数可以是一个列表，列表中可以指定多个分组的依据
print(df1.groupby(['销售区域', df1['销售日期'].dt.month]).销售额.sum())
'''
销售区域 销售日期
上海 1 1679125
2 1689527
3 1061193
4 1082187
5 841199
6 785404
7 863906
8 734937
9 1107693
10 412108
11 825169
12 528041
北京 1 1878234
2 1807787
3 1360666
4 1205989
5 807300
6 1216432
7 1219083
8 645727
9 390077
10 671608
11 678668
12 596146
安徽 4 341308
5 554155
广东 3 388180
8 469390
9 365191
11 395188
江苏 4 537079
7 841032
10 710962
12 215307
浙江 3 248354
8 439508
福建 1 1852496
2 1111141
3 1106579
4 830207
5 1036351
6 816100
7 577283
8 658627
9 769999
10 580707
11 486258
12 352479
Name: 销售额, dtype: int64
'''
#统计出每个区域的销售总额以及每个区域单笔金额的最高和最低
#在DataFrame或Series对象上使用agg方法并指定多个聚合函数
print(df1.groupby('销售区域').销售额.agg(['sum', 'max', 'min']))
'''
sum max min
销售区域
上海 11610489 116303 948
北京 12477717 133411 690
安徽 895463 68502 1683
广东 1617949 120807 990
江苏 2304380 114312 1089
浙江 687862 90909 3927
福建 10178227 87527 897
'''
#自定义聚合后的列的名字，可以使用如下所示的方法
print(df1.groupby('销售区域').销售额.agg(销售总额='sum', 最高销售额='max', 最低销售额='min'))
'''
销售总额 最高销售额 最低销售额
销售区域
上海 11610489 116303 948
北京 12477717 133411 690
安徽 895463 68502 1683
广东 1617949 120807 990
江苏 2304380 114312 1089
浙江 687862 90909 3927
福建 10178227 87527 897
'''
#对多个列使用不同的聚合函数，例如“统计每个销售区域销售额的总和以及销售数量的最低值和最高值”
print(df1.groupby('销售区域')[['销售额', '销售数量']].agg({'销售额': 'sum', '销售数量': ['max', 'min']}))
'''
销售额 销售数量
sum max min
销售区域
上海 11610489 100 10
北京 12477717 100 10
安徽 895463 98 16
广东 1617949 98 10
江苏 2304380 100 11
浙江 687862 95 20
福建 10178227 100 10
'''
print('========================================================')
#透视表和交叉表
#在实际工作中我们通常把那些行很多列很少的表成为“窄表”
#如果我们不想得到这样的一个“窄表”，可以使用DataFrame的pivot_table方法或者是pivot_table函数来生成透视表。
# 透视表的本质就是对数据进行分组聚合操作 根据 A 列对 B 列进行统计
#例如，我们要“统计每个销售区域的销售总额”，那么“销售区域”就是我们的 A 列，而“销售额”就是我们的 B 列
#在pivot_table函数中分别对应index和values参数，这两个参数都可以是单个列或者多个列
#pandas.pivot_table(data, index, values, aggfunc=指定聚合函数)
print(pandas.pivot_table(df1, index='销售区域', values='销售额', aggfunc='sum'))
'''
销售额
销售区域
上海 11610489
北京 12477717
安徽 895463
广东 1617949
江苏 2304380
浙江 687862
福建 10178227
#注意：上面的结果操作跟之前用groupby的方式得到的结果有一些区别，
#groupby操作后，如果对单个列进行聚合，得到的结果是一个Series对象，
#而上面的结果是一个DataFrame 对象。
'''
#统计每个销售区域每个月的销售总额，也可以使用pivot_table函数
df1['月份'] = df1['销售日期'].dt.month
print(pandas.pivot_table(df1, index=['销售区域', '月份'], values='销售额', aggfunc='sum'))
'''
销售额
销售区域 月份
上海 1 1679125
2 1689527
3 1061193
4 1082187
5 841199
6 785404
7 863906
8 734937
9 1107693
10 412108
11 825169
12 528041
北京 1 1878234
2 1807787
3 1360666
4 1205989
5 807300
6 1216432
7 1219083
8 645727
9 390077
10 671608
11 678668
12 596146
安徽 4 341308
5 554155
广东 3 388180
8 469390
9 365191
11 395188
江苏 4 537079
7 841032
10 710962
12 215307
浙江 3 248354
8 439508
福建 1 1852496
2 1111141
3 1106579
4 830207
5 1036351
6 816100
7 577283
8 658627
9 769999
10 580707
11 486258
12 352479
#上面的操作结果是一个DataFrame，但也是一个长长的“窄表”
'''
#做成一个行比较少列比较多的“宽表”，可以将index参数中的列放到columns参数中
#说明：pivot_table函数的fill_value=0会将空值处理为0。
print(pandas.pivot_table(df1, index='销售区域', columns='月份', values='销售额', aggfunc='sum', fill_value=0))
'''
月份 1 2 3 ... 10 11 12
销售区域 ...
上海 1679125.0 1689527.0 1061193.0 ... 412108.0 825169.0 528041.0
北京 1878234.0 1807787.0 1360666.0 ... 671608.0 678668.0 596146.0
安徽 NaN NaN NaN ... NaN NaN NaN
广东 NaN NaN 388180.0 ... NaN 395188.0 NaN
江苏 NaN NaN NaN ... 710962.0 NaN 215307.0
浙江 NaN NaN 248354.0 ... NaN NaN NaN
福建 1852496.0 1111141.0 1106579.0 ... 580707.0 486258.0 352479.0
[7 rows x 12 columns]
'''
#使用pivot_table函数时，还可以通过添加margins和margins_name参数对分组聚合的结果做一个汇总，具体的操作和效果如下所示。
print(pandas.pivot_table(df1, index='销售区域', columns='月份', values='销售额', aggfunc='sum', fill_value=0, margins=True, margins_name='总计'))
'''
月份 1 2 3 4 ... 10 11 12 总计
销售区域 ...
上海 1679125 1689527 1061193 1082187 ... 412108 825169 528041 11610489
北京 1878234 1807787 1360666 1205989 ... 671608 678668 596146 12477717
安徽 0 0 0 341308 ... 0 0 0 895463
广东 0 0 388180 0 ... 0 395188 0 1617949
江苏 0 0 0 537079 ... 710962 0 215307 2304380
浙江 0 0 248354 0 ... 0 0 0 687862
福建 1852496 1111141 1106579 830207 ... 580707 486258 352479 10178227
总计 5409855 4608455 4164972 3996770 ... 2375385 2385283 1691973 39772087
[8 rows x 13 columns]
'''
#交叉表
#交叉表就是一种特殊的透视表，它不需要先构造一个DataFrame对象，
# 而是直接通过数组或Series对象指定两个或多个因素进行运算得到统计结果
#统计每个销售区域的销售总额
sales_area, sales_month, sales_amount = df1['销售区域'], df1['月份'], df1['销售额']
#使用crosstab函数生成交叉表
#说明：上代码使用了DataFrame对象的fillna方法将空值处理为0，再使用astype方法将数据类型处理成整数。
print(pandas.crosstab(index=sales_area, columns=sales_month, values=sales_amount, aggfunc='sum').fillna(0).astype('i8'))
'''
月份 1 2 3 4 ... 9 10 11 12
销售区域 ...
上海 1679125 1689527 1061193 1082187 ... 1107693 412108 825169 528041
北京 1878234 1807787 1360666 1205989 ... 390077 671608 678668 596146
安徽 0 0 0 341308 ... 0 0 0 0
广东 0 0 388180 0 ... 365191 0 395188 0
江苏 0 0 0 537079 ... 0 710962 0 215307
浙江 0 0 248354 0 ... 0 0 0 0
福建 1852496 1111141 1106579 830207 ... 769999 580707 486258 352479
[7 rows x 12 columns]
'''
print('================================================================================')
#数据呈现
#和Series一样，DataFrame对象提供了plot方法来支持绘图，底层仍然是通过matplotlib库实现图表的渲染
import matplotlib.pyplot as plt
#FZJKai-Z03S是我电脑上已经安装的一种支持中文的字体的名称，
# 字体的名称可以通过查看用户主目录下.matplotlib文件夹下名为fontlist-v330.json的文件来获得，而这个文件在执行上面的命令后就会生成
#可以尝试使用SimHei（黑体）、SimSun（宋体）或者其他专门设计用于支持中文的字体CJK
plt.rcParams['font.sans-serif'] = ['SimHei']
# %config InlineBackend.figure_format = svg
temp = pandas.pivot_table(df1, index='销售区域', values='销售额', aggfunc='sum')
temp.plot(figsize=(8, 4), kind='bar', title='销售总额')
plt.xticks(rotation=0)
# plt.show()
#如果要绘制饼图，可以修改plot方法的kind参数为pie，然后使用定制饼图的参数对图表加以定制，代码如下所示。
temp.sort_values(by='销售额', ascending=False).plot(
figsize=(6, 6),
kind='pie',
y='销售额',
ylabel='',
autopct='%.2f%%',
pctdistance=0.8,
wedgeprops=dict(linewidth=1, width=0.35),
legend=False
)
plt.show()
