DataFrame基本操作
这些操作在网上都可以百度得到，为了便于记忆自己再根据理解总结在一起。---------励志做一个优雅的网上搬运工
1.建立dataframe
（1）Dict to Dataframe
df = pd.DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'],'data1':np.random.randn(5),'data2':np.random.randn(5)})
df
data1 data2 key1 key2
0 -0.484486 -1.404184 a one
1 -1.541437 0.549591 a two
2 -0.015287 -1.589111 b one
3 -0.069614 -0.513824 b two
4 -0.704788 0.395147 a one
（2）Series to Dataframe
df2=pd.DataFrame(np.arange(16).reshape((4,4)),index=['one','two','three','four'],columns=['a','b','c','d'])
df2
a b c d
one 0 1 2 3
two 4 5 6 7
three 8 9 10 11
four 12 13 14 15
（3）pd.read_csv() ; pd.to_csv();
pd.read_excel() ; pd.to_excel()
（4）建立一个新的空的dataframe
df_empty = pd.DataFrame(columns=['A', 'B', 'C', 'D'])
列表生成器
[x for x in range(0,5)] [0, 1, 2, 3, 4]
2.dataframe基本操作
（1）逻辑运算取行数：df[df['data1']>0]
（2）规则运算取行数：
df2.loc[[2]]
data1 data2 key1 key2
2 0.025434 0.119642 b one
df2.iloc[[2]]
data1 data2 key1 key2
2 0.025434 0.119642 b one
一个是按照index的序值，一个是按照index具体值
取前两行：df[:,2]
（3）取指定的几列
df = df[0:(len(df) - 1)] # 取df的前n-1行
取某两列：df[[column1，column2]]
不指定列名取前四百列：df.iloc[:,0:400]
(4)取满足条件的几行
yy=data[(data['Ch']==8027)& (data['PlaceNo']==6)]
df.loc[(df['AxleNo'] == 5) & (df['PlaceNo'] == 1) & (df['ResultMark'].isin([4,196,1028, 16388])), 'Alarm'] = 7 # 修改满足条件行的
（5）按列拼接
https://morvanzhou.github.io/tutorials/data-manipulation/np-pd/3-6-pd-concat/
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
keys=None, levels=None, names=None, verify_integrity=False,
copy=True)
pd.concat([df2,df2],axis=0)
objs:待合并的对象集合，可以是Serice,Dataframe
axis:{0，1，...}合并方向，默认为0，表示纵向，1表示横向
join:{inner,outer}:合并方式，默认为outer，表示并集，inner表示交集
join_axes:按哪些对象的索引保存
ignore_index:{False,True},是否忽略原index，默认为不忽略
keys:为原始dataframe添加一个键，默认为无
ndarray的拼接，np.vstack((a,b));
np.hstack((a,b))
merge方法同样可实现，merge(df1,df2)，没有指定连接列名默认将重复的列当作键
merge(df1,df2,on=['key1','key2'])
merge(df1,df2,rigth_on=,left_on=)当列名不相同时同样可以进行合并
删除重复的行
df.drop_duplicates() #删除所有列完全重合的行
df.drop_duplicates(['key1','key2']) #删除列1和列2重复的行
(6)按行拼接
result = df1.append(df2)
（7）修改索引
# inplace=Ture，在DataFrame上修改数据，而不是返回一个新的DataFrame df1.reindex(['a','b','c','d','e'], inplace=Ture)
修改列的排列顺序
df1.reindex(columns=columns)
x=x.reset_index() #将索引从新排列，但是会自动生成原来索引内容的index一列
3.groupby
（1）按照关键字分类，如果不使用mean().sum()函数的话，是一个group类型的数据
df2 = pd.DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'],'data1':np.random.randn(5),'data2':np.random.randn(5)})
df2.groupby('key1').mean()
data1 data2
key1
a 0.067198 0.650162
b 0.040813 0.126698
df2.groupby(['key1','key2']).mean()
data1 data2
key1 key2
a one 0.373335 0.944841
two -0.545078 0.060804
b one 0.025434 0.119642
two 0.056192 0.133754
补上df2
df2
data1 data2 key1 key2
0 -0.511381 0.967094 a one
1 -0.545078 0.060804 a two
2 0.025434 0.119642 b one
3 0.056192 0.133754 b two
4 1.258052 0.922588 a one
（2）对group数据再进行函数操纵apply(),agg()
apply()应用所有数据
df2.groupby('key1').apply(np.mean)
data1 data2
key1
a 0.067198 0.650162
b 0.040813 0.126698
agg()应用某一列
group2=df2.groupby('key1')
group2
<pandas.core.groupby.DataFrameGroupBy object at 0x000001C6A964D518>
group2['data1'].agg('mean')
key1
a 0.067198
b 0.040813
3.组合合并
（1）dataframe中其中两列按照一定格式合并并生成新的一列
df['经纬度']=df[['经度','纬度']].apply(lambda x:"{:.3f},{:.3f}".format(*x),axis=1)
Temp_data['轴位']=Temp_data['轴号'].map(str)+Temp_data['位号'].map(str)
（2）两个dataframe表通过字段进行匹配组合成新表
1.merge方法
pandas.merge(df1,df2,on=['key1','key2'],how=‘inner’)
how有inner、outer、left和right四个选项，分别表示并集，交集，按左连接和按右链接，默认为inner
2.combin方法
3.join方法
4.concat方法
pandas.concat([df1,df2,df3])是默认在纵向堆叠，列数不会增加。
pandas.concat([df1,df2,df3],axis=1,join='inner')会把每个DataFrame的列放在一起，按index识别
4.pivot_table 透视表
pd.pivot_table(df2, index='key1', columns='key2')
data1 data2
key2 one two one two
key1
a 0.373335 -0.545078 0.944841 0.060804
b 0.025434 0.056192 0.119642 0.133754
df2.pivot_table(['data1'], index='key1',columns='key2')
data1
key2 one two
key1
a 0.373335 -0.545078
b 0.025434 0.056192
5.其他
（1）编码
系统自动编码：y = np.array(pd.Categorical(data['quality']).codes)
自己指定映射：data['category'] = data['quality'].map({"轻度污染":1,"中度污染":2})
（2）替换
c = df['AreaId'].replace(-1, 0) 将AreaId一列中-1的数替换成0
c = df['AreaId'].replace([-1，2，4，8], 0) 将AreaId一列中某些数据替换成0
（3）更改列名字
df = df.rename(columns={'DeviceName_湿度_DataValue_Mean_Mean': '湿度'})
（4）排序
df.sort_index(inplace=True) #将index排序
df=df.sort_index(by='timepoint') # index后续会被values替代，这两行都是对dataframe中某一列进行排序
df=df.sort_values(by='timepoint')
（5）更改列的数据类型
修改整个数据框类型：df=pd.DataFrame(df,dtype='float').replace(0,np.nan).mean(1)
mean(1)是求行平均，
（6）其他地方收集到的神操作
if df['实发工资']>10000:
df['实发工资']=df['应发工资']+20000
df['实发工资'] = df['应发工资'].applay(lambda x:x+20000 if x>10000 else x)
（7）根据列的值从DataFrame中选择行
要选择列的值等于某个值"some_value"的行，请使用==：
df.loc[df['column_name'] == some_value]
要选择列值在链表some_values中的行，请使用isin：
df.loc[df['column_name'].isin(some_values)]
将多个条件与&组合使用：
df.loc[(df['column_name'] == some_value) & df['other_column'].isin(some_values)]要选择列值不等于some_value的行，请使用!=：
df.loc[df['column_name'] != some_value]
isin返回一个布尔序列，因此要选择其值不在some_values中的行，使用~取反布尔序列：
df.loc[~df['column_name'].isin(some_values)]
（8）dataframe根据多列的条件判断生成新的一列
df['temp_tag']=df.apply(lambda x: (1 if x['12']-x['Ireference']>=55 else 0), axis=1)
df['次高温差'] =df.apply(lambda x:(max(x['12'],x['22'],x['32'],x['42'],x['52'],x['62'])-np.sort([x['12'],x['22'],x['32'],x['42'],x['52'],x['62']])[4]),axis=1)
6.读取文件
可查看原网站地址：https://i.cnblogs.com/EditPosts.aspx?postid=8323763
1.读取excel
import pandas as pd
from pandas import DataFrame,Series
# 指定分隔符，也可用delimiter，读取前10行数据
pd.read_table('filename', sep=',',nrows=10)
# 读取特定大小的文件块(byte)
pd.read_table('filename', chunksize=1000)
# 读入DataFrame时，指定列名
pd.read_csv('filename', header=None)
pd.read_csv('filename', names=['a','b','c','d'])
# 指定列为索引，列d设为索引
pd.read_csv('filename', names=['a','b','c','d'], index_col='d')
# 层次化索引的话，可以index_col指定多个列名
pd.read_csv('filename', names=['a','b','c','d'], index_col=['c','d'])
# 跳过文件的某些行
pd.read_csv('filename', skiprows=[1,3,6])
# 需要忽略的行数，从尾部算起
pd.read_csv('filename', skip_footer=10)
# 读文件缺失值处理，将文件中某些值设置为nan
pd.read_csv('filename', na_values=['NULL'])
# 将文件中满足box条件的值设置为nan
box = {'col1':['foo','NA'], 'col3':['two']}
pd.read_csv('filename', na_values=['NULL'])
# 写文件缺失值处理，将nan写成na_rep
pd.read_csv('filename', na_rep='NULL')
# 日期解析,解析所有列，也可以指定，默认为False;
# 冲突型日期，看成国际标准格式，28/6/2016, 默认为False
pd.read_csv('filename', parse_dates=True, dayfirst=True)
# 设置编码，数据解析后仅有一列返回Series
pd.read_csv('filename', encoding='utf-8', squeeze=True)
3.导出文件
#导出到CSV：
df.to_csv('SomeTable.csv', index=False)
df.to_csv('SomeTable.csv', index=False)
#导出到EXCEL：
df.to_excel('SomeTable.xls', index=False)
df.to_excel('SomeTable.xls', index=False)
#导出到TXT：
df.to_csv('SomeTable.txt', index=False)
df.to_csv('SomeTable.txt', index=False)
str转list可通过str.split(',')
list 转str可通过a = ','.join(['abc','def','ghi']) >>>'abc,def,ghi'，值得注意的是list里面的数据必须是字符串类型才可以
