pandas
pandas
数据去重:pd.Series(list(s)).unique() ,或者set()
DataFrame取行、列:数字、名称两种索引方式
取行
df[2:6]
df[:3]
名字:df.loc[“A”]、df.loc[“A”:"D"]、df.loc[[“A”,"D"]]
数字:df.iloc[1]、df.iloc[1:3]、df.iloc[[1,3]]
取列
df[[2,4,6]
df.loc[:,"Y"]、df.loc[:,"X":"Z"]、df.loc[:,["X","Z"]]
df.iloc[:,2]、df.iloc[:,2:6]、df.iloc[:,[2,6]]
同时取行,取列
df.loc["C","Y"]、df.loc["A":"C","X":"Z"]、df.loc[["A","C","E"],["W","Y"]]
df.iloc[2,2]、df.iloc[0:3,1:4]、df.iloc[[0,2,4],[0,2]]
DataFrame添加行、列
1.添加行有df.loc[]
以及df.append()
这两种方法
采用loc[]
方法多适用于对空的dataframe循环遍历添加行,这样索引可以从0开始直到数据结果,不会存在索引冲突的问题。
# 构造一个空的dataframe
import pandas as pd
df = pd.DataFrame(columns=['name','number'])
# 采用.loc的方法进行
df.loc[0]=['cat', 3] # 其中loc[]中需要加入的是插入地方dataframe的索引,默认是整数型
# 也可采用诸如df.loc['a'] = ['123',30]的形式
添加一行或合并两个dataframe,采用append()
方法
# 1. 采用append方法合并两个dataframe
# 构造两个dataframe
df = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB'))
df2 = pd.DataFrame([[5, 6], [7, 8]], columns=list('AB'))
# 合并 ignore_index设置为 True可以重新排列索引
df.append(df2, ignore_index=True)
A B
0 1 2
1 3 4
2 5 6
3 7 8
# 2. 采用append方法添加多行
df = pd.DataFrame(columns=['A'])
for i in range(5):
df = df.append({'A': i}, ignore_index=True)
df
A
0 0
1 1
2 2
3 3
4 4
# 同样如果是遍历添加多行,有一种更高效的方法
pd.concat([pd.DataFrame([i], columns=['A']) for i in range(5)],
ignore_index=True)
A
0 0
1 1
2 2
3 3
4 4
df = df.append({'A': i}, ignore_index=True)
2.添加列有df[]
和df.insert()
两种方法
新增一列,采用df[]
方法直接在列上操作(建议)
# 新建一个dataframe
df = pd.DataFrame(columns=['name','number'], data=[['cat',3]])
df
name number
0 cat 3
# 添加一列,计算有多少条腿
df['leg'] = df['number'] * 4
# 添加一列,直接赋值有几个头
df['head'] = 1
df
name number leg head
0 cat 3 12 1
添加一列,采用insert()
方法
# 使用方法是DataFrame.insert(loc, column, value, allow_duplicates=False)
# 即df.insert(添加列位置索引序号,添加列名,数值,是否允许列名重复)
df.insert(1, 'tail', 1, allow_duplicates=False)
df
name tail number leg head
0 cat 1 3 12 1
分组聚合groupby
df.groupby(column2)
df.groupby([column1, column2])
groupby后生成字典
groups = dict(list(yolo_df.groupby(["name"])))
groupby后生成列表-数组
np_res = []
for i , content in yolo_df.groupby(["name"]):
np_res.append((np.array(content).astype("float")))
pandas :DataFrame文件保存为.csv
import pandas as pd
dataframe_file.to_csv("file_path/file_name.csv", index=False)
df = pd.read_csv('file_path/file_name.csv')