pandas
1 作用：数据分析和处理
2 处理excel数据
2.1 读取excel数据
file = request.files.get("file")
read_ex = pd.read_excel(file)
df = pd.DataFrame(read_ex)
1.获取列标题：
columns = df.columns.values.tolist()
2.获取某一列数据：
area_list = df['大区'].tolist() # 获取列标题为“大区”的列数据
3.设置列：
df["user"] = "lxl" # 如果没有user列，会添加这一列，并填充“lxl”
4.对一行或一列做出一些操作（axis=1遍历行，axis=0遍历列）
df = df.apply(ra_data_process, axis=1)
5.重命名行或者列索引
df.rename(columns={
"门店编码": "store_code",
"商品编码": "sku_code",
"确认补货": "modify_replenish",
"调拨": "modify_send",
"建议调入门店": "receive_store_name",
"调入门店": "modify_receive_store_name",
},
inplace=True)
# inplace：bool，default False
将结果返回赋值给原变量，无需再次将结果赋值给新变量。即df.rename(inplace=True)之后，df的值发生改变（pandas中好多方法都有这个参数，此处就演示了）
6.获取部分列数据
df = df[["大区", "门店编码"]]
7.df转化为字典：
In [9]: df.to_dict(orient='records')
Out[9]:
[{'colA': 'A', 'colB': 'X', 'colC': 100, 'colD': 90},
{'colA': 'A', 'colB': nan, 'colC': 50, 'colD': 60},
{'colA': 'B', 'colB': 'Ya', 'colC': 30, 'colD': 60},
{'colA': 'C', 'colB': 'Xb', 'colC': 50, 'colD': 80},
{'colA': 'A', 'colB': 'Xa', 'colC': 20, 'colD': 50}]
8.DataFrame.loc：根据行列信息获取指定行列数据
cc1 = df.loc[1] # 1为行索引，这里获取第一行数据，从0行开始算，得到类似字典的东西，key为列索引
print(cc1['大区']) # 根据key获取这一行的值
values = cc1.values # 获取这一行数据的列表
cc1 = df.loc[[1, 2]] # 也可获取多行，这里表示获取索引为1和2两行的数据
cc1 = df.loc[[1, 2], '门店编码'] 如果中括号中有两个，第二个为列，这里表示，取第1、2行，列索引为‘门店编码’的列的数据
9. DataFrame.iloc 也是取行列数据，区别在于，取数据时，不是根据行列索引，而是根据行列数，计算时不包括行列索引
dd = df.iloc[1,1] # 取第1行第1列数据， 也是从0开始计数
dd = df.iloc[[1, 2], 1] #获取第1列，第1、2行的数据
10.获取dataframe获取行数、列数
a = [[1,2,3], [4,5,6], [7,8,9],[4,5,8]]
df = pandas.DataFrame(a)
print("行数", df.shape[0]) # 4
print("列数", df.shape[1]) # 3
1.按某一列排序
a = [(1, 2, 5), (3, 4, 5), (2, 3, 4)] df = pd.DataFrame(data=a, columns=["a", 'b', 'c']) print(df) df.sort_values(by="a", ascending=False, inplace=True) # by：按哪个字段排序， ascending：是否升序，inplace：是否修改当前dataframe print(df)
执行结果：
a b c 0 1 2 5 1 3 4 5 2 2 3 4 a b c 1 3 4 5 2 2 3 4 0 1 2 5
高级：排序时先对值进行转换，使用转换后的值进行排序
def to_pinyins(ss): # 注意这里参数是一个列表 ''' 转拼音 :param s: 字符串或列表 :type s: str or list :return: 拼音字符串 ''' return [''.join(chain.from_iterable(pinyin(s, style=Style.TONE3))) for s in ss] if __name__ == '__main__': a = [("哈哈",4, 5), ("佳佳", 3, 4), ("啊啊", 2, 5), ("四十", 3, 4)] df = pd.DataFrame(data=a, columns=["a", 'b', 'c']) df.sort_values(by="a", inplace=True, key=to_pinyins) # 传入一个方法，排序前会先用这个方法将列的值转换，使用转换后的值进行排序 print(df)
执行结果 :
a b c 2 啊啊 2 5 0 哈哈 4 5 1 佳佳 3 4 3 四十 3 4
2.去重：
a = [(1, 2, 5), (1,2, 5), (2, 3, 4)] df = pd.DataFrame(data=a, columns=["a", 'b', 'c']) print(df) df.drop_duplicates(inplace=True) print(df)
执行结果：
a b c 0 1 2 5 1 1 2 5 2 2 3 4 a b c 0 1 2 5 2 2 3 4
3.获取某列的分类（去重后的值）：
a = [("哈哈",4, 5), ("佳佳", 3, 4), ("啊啊", 2, 5), ("四十", 3, 4)] df = pd.DataFrame(data=a, columns=["a", 'b', 'c']) c = pd.Categorical(df['b']) print(c.categories) print("--------") print(c.tolist()) print("--------") print(c.unique()) print("--------") print(c.size)
执行结果：
Int64Index([2, 3, 4], dtype='int64') -------- [4, 3, 2, 3] -------- [4, 3, 2] Categories (3, int64): [4, 3, 2] -------- 4
实现自定义排序
a = [("哈哈",4, 5), ("佳佳", 3, 4), ("啊啊", 2, 5), ("四十", 3, 4)] df = pd.DataFrame(data=a, columns=["a", 'b', 'c']) cc = pd.Categorical(df['b'], categories=[3, 2, 4], ordered=True) # 定义了b列分类为[3, 2, 4]，并设置了顺序为 3>2>4 print(cc) df["b"] = cc # 将b列设置为cc, df.sort_values(by="b", inplace=True) # 按b列排序，此时按照b列3>2>4进行排序 print(df)
执行结果：
[4, 3, 2, 3] Categories (3, int64): [3 < 2 < 4] a b c 1 佳佳 3 4 3 四十 3 4 2 啊啊 2 5 0 哈哈 4 5
