1 import numpy as np
2 import pandas as pd
3
4 df = pd.read_excel("d:/test.xlsx")
5 #数据重塑和轴向旋转
6 if 0:
7 #1,层次化索引
8 if 0:
9 #层次化索引是pandas 的一项重要功能，它能使我们在一个轴上拥有多个索引
10
11 #Series 的层次化索引
12 if 0:
13 s = pd.Series(np.arange(1,10),index=[['a','a','a','b','b','c','c','d','d'],[1,2,3,1,2,3,1,2,3]])
14 print(s)
15 if 0:
16 print(s.index)
17 pass
18 if 0:
19 #对外层索引进行操作
20 print(s['a'])
21 print(s['a':'b'])
22 if 0:
23 #对内层索引进行操作
24 print(s[:,1])
25
26 #索引具体的值
27 print(s['a',1])
28 pass
29
30 if 0:
31 #通过unstack 方法可以将Series 变成 DataFrame
32 ret = s.unstack()
33 print(ret) #这时外层索引就成了行标签 ，内层索引就成了列标签
34 if 0:
35 ret = s.unstack().stack()
36 print(ret) #可以使用 stack () 将DataFrame 转回
37 pass
38
39
40
41
42 pass
43
44
45 #DataFrame 的层次化索引
46 if 0:
47 #对于 DataFrame 来说，行和列都是可以进行层次化索引的
48 data = pd.DataFrame(np.arange(12).reshape(4,3),index=[['a','a','b','b'],[1,2,1,2]],columns=[['A','A','B' ],[1,2,3]])
49 print(data) #这时就是需要四个索引才能确定一个数字了 ，这就将二维数据变成了四维数据 。
50
51 if 0:
52 #索引列
53 print(data['A'])
54 pass
55 if 0:
56 #给索引设置名称
57 data.index.names =['row1','row2']
58 data.columns.names = ['col1','col2']
59 print(data)
60 if 0:
61 #然后 使用swaplevel 对row1 和 row2 调换
62 ret = data.swaplevel('row1','row2')
63 print(ret)
64 pass
65
66 pass
67
68
69 pass
70
71 #操作df 数据集
72 if 1:
73 if 0:
74 ret = df.index
75 print(ret)
76 # print(df.dtypes)
77 pass
78 if 1:
79 #把学号设置成外索引，姓名设置为内索引
80 ret = df.set_index(['学号','姓名'])
81 print(ret)
82 #此时的每个索引都是个索引
83 if 0:
84 print(ret.index[0]) #(17096218, '张三')
85
86 pass
87
88 #获取17096218 学号的
89 if 0:
90 ret = ret.loc[17096218]
91 print(ret) #此时姓名就成了外索引
92
93 pass
94
95
96 pass
97
98
99 pass
100
101 #取消 层次化索引
102 # df = df.reset_index()
103 pass
104
105 #2,数据旋转
106 if 1:
107 data = df[:5]
108 print(data) #下面就是单纯只操作这个data
109
110 #行列转换 转置
111 if 0:
112 ret = data.T
113 print(ret)
114 pass
115
116 #dataframe 可以使用stack 和 unstack 转化为层次化的Series
117 if 0:
118 ret = data.stack() #转为了 层次化的Series
119 print(ret)
120 pass
121 pass
122 pass
123 #数据分组 ，分组运算
124 if 0:
125 #主要用的是groupby 计数：先分组，然后再进行聚合运算 类似于数据透视表
126 #需要注意的是 groupby 只会数值变量进行分组运算
127
128 #按照 学号分组
129 group = df.groupby(df['学号'])
130
131 #查看group
132 if 0:
133 print(group)
134 print(type(group))
135 pass
136 if 0:
137 #可以计算分组后的各个统计量
138 ret = group.mean()
139 print(ret)
140
141 pass
142
143 if 0:
144 #计算每个姓名 的平均工资
145 group = df['工资'].groupby(df['姓名'])
146 ret = group.mean()
147 print(ret)
148 pass
149
150 if 0:
151 # 根据多个分组变量进行分组
152 group = df.groupby(['学号','姓名'])
153 ret = group.mean()
154 print(ret)
155 pass
156 if 0:
157 #获取每个学号，每个姓名的 工资的均值
158 group = df['工资'].groupby([df['学号'],df['姓名']])
159 # group = df['工资'].groupby(['学号','姓名']) #错误
160 print(group.mean())
161
162 ret = group.mean()
163 if 0:
164 #现在通过 unstack 将ret 转为 dataframe
165 ret = ret.unstack()
166 print(ret)
167 #需要注意的是 ，这会产生一些缺失值 NaN
168 pass
169 pass
170
171 pass
172
173 #离散化处理
174 if 0:
175 #pandas 为我们提供了 方便的函数 cut()；
176 #pd.cut(x,bins,right=True,labels=None,retbins= False,precision=3,include_lowest=False)
177 #参数解释
178 #x：需要离散化的数组 ， Series DataFrame 对象
179 #bins ：分组的依据 一般是个数字/或序列 数字指的的是分成几组
180 #right ：是否包含右端点
181 #inlcude_lowest :是否包含左端点
182 #labels 可以指定分组的 名称
183
184 #下面对年龄进行分组 0-18 18-30 30-50 50-99
185 if 0:
186 ret = pd.cut(df['年龄'], [0, 18, 30, 50, 99]) # 这时的bins 是个列表
187 print(ret)
188 # 316(0, 18]
189 # 317(18, 30]
190 # 318(18, 30]
191 # 319(18, 30]
192 # Name: 年龄, Length: 320, dtype: category
193 # Categories(4, interval[int64]): [(0, 18] < (18, 30] < (30, 50] < (50, 99]]
194 pass
195
196 if 0:
197 #给各组加标签
198 ret = pd.cut(df['年龄'], [0, 18, 30, 50, 99],labels=['少年','青年','中年','老年'])
199 print(ret)
200 pass
201
202 if 0:
203 #给各个分组加标签 并新增到 pd 中
204 df['年龄等级'] = pd.cut(df['年龄'], [0, 18, 30, 50, 99],labels=['少年','青年','中年','老年'])
205 print(df)
206 pass
207
208 if 0:
209 #设置年龄的分位数
210 bins = np.percentile(df['年龄'],[0,20,50,100])
211 print(bins) #[18. 26. 40. 98.] #最小的是18 岁， 最大的98 岁
212
213 pass
214
215
216 pass
217
218 #合并数据集
219
220 if 0:
221 #1,append 拼接时，尽量数据都是相同的
222 #它使用的不是很多，除非是一个excel 放不下，多个excel 文件，然后到python中合并
223 if 0:
224 df_zcb = df[df['姓名']== '张昌博']
225 df_zs = df[df['姓名'] == '张三']
226 ret = df_zcb.append(df_zs)
227 print(ret)
228
229
230 pass
231 #2,merge (用的比较多 ) 做横向的拼接
232 # df.merge(
233 # left, 左边的数据文件
234 # right, 右边的数据文件
235 # how="inner", 拼接的方式 ，默认是内连接
236 # on=None, 按照 那一列连接 （左右都有的）
237 # left_on=None, 如果不是左右都有
238 # right_on=None,
239 # left_index=False,
240 # right_index=False,
241 # sort=False,
242 # suffixes=("_x", "_y"),
243 # copy=True,
244 # indicator=False,
245 # validate=None,
246 # )
247 if 0:
248 df1 = df[:5]
249 print(df1)
250 df2 = df[:5]
251 df2['工龄'] =[1,2,3,4,14] #增加一列
252 # print(df2)
253
254 #将df2 打乱
255 df2 = df2.sample(frac=1)
256 # print(df2)
257 df2.index = range(len(df2)) #将索引再次赋值
258 print(df2)
259
260 #现在将df1 和 df2 进行合并 按学号连接
261 ret = pd.merge(df1,df2,how='inner',on = '学号')
262 print(ret)
263
264
265
266
267
268
269 pass
270
271 #3,concat
272 #将多个数据集进行批量合并
273 if 0:
274 df1 = df[:10]
275 df2 = df[100:110]
276 df3 = df[200:210]
277
278 # ret = pd.concat(df1,df2,df3) #错误
279 ret = pd.concat([df1,df2,df3])
280 print(ret)
281 pass
282 pass
