pandas中DataFrame操作(一)
切片选择
#显示第一行数据
print(df.head(1))
#显示倒数三行数据
print(df.tail(3))
loc
df.loc[row_index,col_index] 注意loc是根据行和列的索引进行选择的，行索引就是index，列索引就是列名。
loc举例：
df.loc[0,'age']=18 就能定位行索引为0，列名为‘age’的元素，然后可以直接赋值
df.loc[df.id=109,'age'] 这个就是找到id为109的索引号，然后列名还是age的元素，总之row_index可以直接填写索引号，也可以根据条件进行筛选查找
df.loc[(df.id>1)&(df.id<100),'label']=1 这个就是根据条件批量查找，然后批量赋值
iloc第一个参数表示前多少行，第二个参数表示多少列，与行索引列索引没有任何关系，完全是前多少行
print（df[0:3]） 选取前三行
print(df.iloc[1:3,1:3]) 类似于octave选择行列
print(df.iloc[1:3,-1:]) 选取最后一列
df.iloc[:,1:3] 同octave
df.iloc[1:3,:] 同octave
行筛选
df1:
日本
荷兰
df2:
eng_name,chn_name
a, 中国
b,美国
c,日本
d,瑞典
f,荷兰
根据df1筛选df2：isin(), 括号里面对应的是list
df2[df2.chn_name.isin(df1[0].tolist())]
如果是反向选择，则[]里面最前面加一个-号即可
df2[-df2.chn_name.isin(df1[0].tolist())]
#截断极值，因为极值有时候可以认为是异常数值，会干扰模型的参数
ulimit = np.percentile(train.price_doc.values, 99)
llimit = np.percentile(train.price_doc.values, 1)
train['price_doc'].loc[train['price_doc']>ulimit] = ulimit
train['price_doc'].loc[train['price_doc']<llimit] = llimit
all_data[all_data['state']==33] #筛选state=33的行
df[(df.age>=20)&(df.age<28)] #注意一定要带（）
生成dataframe并写入csv
output = pd.DataFrame({'id': id_test, 'price_doc': y_predict})
output.to_csv('output.csv', index=False)
#一列写入的时候，要用双[],否则会当做series没有列名。
df_header[['eng_name']].to_csv('C:\\data\\hyg\\predict_score\\eng_feature.csv',index=False)
根据不同分隔符、字符编码等读取csv，并更改列名
data_header = pd.read_csv('a.csv',encoding='gb2312',header=None,sep='\t')
df = pd.read_csv('b.csv',encoding='utf-8',header=None,sep='\t')
df.columns=list(data_header[0])
排序（降序）
df_6=df_6.sort_values('xgb_score',ascending=False)
ipython中显示dataframe中全部的列与行设置
pd.set_option('max_columns', 1000)
pd.set_option('max_rows', 1000)
去重
df.drop_duplicates(["Seqno"],keep="first").head()
df.drop_duplicates(subset=None, keep='first', inplace=False)
1 data.drop_duplicates()#data中一行元素全部相同时才去除
2 data.drop_duplicates(['a','b'])#data根据’a','b'组合列删除重复项，默认保留第一个出现的值组合。传入参数keep='last'则保留最后一个
类型转换
df.age=df['age'].astype(np.int) #注意一定要赋值过去，否则不起效
添加一行
tmp.loc[11]=('其它',300)
merge
1）len(set(df_a.eng_name)&set(df_b.eng_name)) #merge前根据某一列做key计算一下有多少个交集
2）res = pd.merge(df_a, df_b,on=['eng_name'],how='left') #on表示merge的key，how表示连接方式，默认是inner，left表示以左侧df为准，右侧没有的值为na。
3)左右键值不一样：pd.merge(df_a, df_b,left_on='k1',right_on='k2',how='left')
更改某一列的名
df3.rename(columns={'user_id':'用户ID'}, inplace = True)
df.rename(columns=lambda x:x.replace('yhhx_result.',''), inplace=True) #统一去掉列名的某个前缀
groupby 分组后进行筛选，并形成新的df
df_group_small = pd.DataFrame(columns=df.columns)
df_group_large = pd.DataFrame(columns=df.columns)
for k in set(group.keys):
if len(group.get_group(k))<3:
df_group_small=pd.concat([df_group_small,group.get_group(k)])
else:
df_group_large=pd.concat([df_group_large,group.get_group(k)])
对于时间的字段拆分处理
train = pd.read_csv('train.csv', header=0,parse_dates=['pickup_datetime'])#读取文件的时候parse_dates必须要加上 train['pickup_month'] = train['pickup_datetime'].dt.month train['pickup_day'] = train['pickup_datetime'].dt.day train['pickup_hour'] = train['pickup_datetime'].dt.hour train['pickup_minute'] = train['pickup_datetime'].dt.minute #看看是一星期中的星期几 train['dayofweek'] = train['pickup_datetime'].dt.dayofweek+1 #一年中的第几个星期 train['pickup_weekofyear'] = train['pickup_datetime'].dt.weekofyear train['pickup_dt'] = (train['pickup_datetime'] - train['pickup_datetime'].min()).dt.total_seconds() #一星期中的第多少个小时 train['pickup_week_hour'] = train['dayofweek'] * 24 + train['pickup_hour']
更改DataFrame中列的顺序
mid = df['Mid'] df.drop(labels=['Mid'], axis=1,inplace = True)
#重新插入到最前面，以达到更改列顺序的目的 df.insert(0, 'Mid', mid)
DataFrame一行行遍历
for row in t.itertuples(index=True, name='Pandas'):
id=getattr(row, 'USRID')
diff=getattr(row, 'diff')
或者
for _, row in df_header.iterrows():
eng_name,chn_name=row#比如有两列就可以这样直接对应赋值了，上面的_作为占位符，可以去掉index号
二维list转换成DataFrame
df=pd.DataFrame(recall_list,columns=['TOP30%','TOP35%','TOP40%','TOP45%','TOP50%'])
APPLY
Apply将一个函数应用于指定轴上的每一个元素。 使用Apply，可以将DataFrame列（是一个Series）的值进行格式设置和操作，不用循环，非常有用！
dataframe中将数值型与字符串混杂类型强制转换成数值类型
df['username']=pd.to_numeric(df['username'],errors='coerce') #将不能转换数据类型的值强制转换成NaN
利用箱式图找出异常值分界线
data=pd.DataFrame({'a':[1,2,3,4,3,4,45,67]})
p=data[['a']].boxplot(return_type='dict')
y=p['fliers'][0].get_ydata()
y.sort()
y[0]
输出：
y=[45,67]
dataframe中判断NAN的方法
for v in df['a']:
if pd.isnull(v)
时间差计算
1）出生日期转换为年龄方法
df['出生日期']=pd.to_datetime(df['出生日期'],format='%Y%m%d',errors='coerce) #当前是什么格式format就写什么格式
df['age']=now_year-df['出生日期'].dt.year
import datetime #日期加50天，自动转化为所需要格式的日期 (pd.to_datetime('2019-05-30',format='%Y-%m-%d')+datetime.timedelta(days=50)).strftime('%Y-%m-%d') #如果是减去50天，则days=-50即可
4) dataFrame中两列快速计算天数差
| stat | buy_date | |
|---|---|---|
| 0 | 2020-09-01 | 2020-9-3 |
| 1 | 2020-09-01 | 2020-9-3 |
| 2 | 2020-09-01 | 2020-9-3 |
| 3 | 2020-09-01 | 2020-9-3 |
| 4 | 2020-09-01 | 2020-9-3 |
#默认数据格式yy-mm-dd形式，不同形式的可以添加形式标准，按列统一转换速度非常快，即便是1000万条数据，一秒中完毕；如果用列表推导式，好几个小时都计算不完毕。
df['days']=(pd.to_datetime(df['buy_date'])-pd.to_datetime(df['stat'])).dt.days
def get_missRow_byThreshold(df,threshold): indexs=[] for index,row in df.iterrows(): rowMissRate=sum(pd.isnull(x) for x in row.values)/len(row.values) #一行一行拆分看缺失值情况 if rowMissRate>=threshold: indexs.append(index) return indexs #返回索引号后，进行删除，删除缺失率高于0.8的行 indexs=get_missRow_byThreshold(df,0.8) df.drop(indexs,inplace=True)
抽取出身份证信息中的省份
def fun(x): if not x is np.nan: x = x.strip().split('省')[0].split('自治')[0].split('维吾尔')[0].split('壮族')[0].split('回族')[0].split('市')[0] return x df['id_prov'] = df['身份证归属地'].map(fun)
验证手机号所在省份与身份证所在省份是否一致
def is_identity(x,y): if pd.isnull(x) or pd.isnull(y): return np.nan else: if x.strip()==y.strip(): return 1 else: return 0 df['province_identity']=list(map(lambda x,y:is_identity(x,y),df['id_prov'],df['手机号归属省份'])) df['city_identity']=list(map(lambda x,y:is_identity(x,y),df['id_city'],df['手机号归属城市']))
