pandas中DataFrame操作(一)
切片选择
#显示第一行数据
print(df.head(1))
#显示倒数三行数据
print(df.tail(3))
loc
df.loc[row_index,col_index] 注意loc是根据行和列的索引进行选择的,行索引就是index,列索引就是列名。
loc举例:
df.loc[0,'age']=18 就能定位行索引为0,列名为‘age’的元素,然后可以直接赋值
df.loc[df.id=109,'age'] 这个就是找到id为109的索引号,然后列名还是age的元素,总之row_index可以直接填写索引号,也可以根据条件进行筛选查找
df.loc[(df.id>1)&(df.id<100),'label']=1 这个就是根据条件批量查找,然后批量赋值
iloc第一个参数表示前多少行,第二个参数表示多少列,与行索引列索引没有任何关系,完全是前多少行
print(df[0:3]) 选取前三行
print(df.iloc[1:3,1:3]) 类似于octave选择行列
print(df.iloc[1:3,-1:]) 选取最后一列
df.iloc[:,1:3] 同octave
df.iloc[1:3,:] 同octave
行筛选
df1:
日本
荷兰
df2:
eng_name,chn_name
a, 中国
b,美国
c,日本
d,瑞典
f,荷兰
根据df1筛选df2:isin(), 括号里面对应的是list
df2[df2.chn_name.isin(df1[0].tolist())]
如果是反向选择,则[]里面最前面加一个-号即可
df2[-df2.chn_name.isin(df1[0].tolist())]
#截断极值,因为极值有时候可以认为是异常数值,会干扰模型的参数
ulimit = np.percentile(train.price_doc.values, 99)
llimit = np.percentile(train.price_doc.values, 1)
train['price_doc'].loc[train['price_doc']>ulimit] = ulimit
train['price_doc'].loc[train['price_doc']<llimit] = llimit
all_data[all_data['state']==33] #筛选state=33的行
df[(df.age>=20)&(df.age<28)] #注意一定要带()
生成dataframe并写入csv
output = pd.DataFrame({'id': id_test, 'price_doc': y_predict})
output.to_csv('output.csv', index=False)
#一列写入的时候,要用双[],否则会当做series没有列名。
df_header[['eng_name']].to_csv('C:\\data\\hyg\\predict_score\\eng_feature.csv',index=False)
根据不同分隔符、字符编码等读取csv,并更改列名
data_header = pd.read_csv('a.csv',encoding='gb2312',header=None,sep='\t')
df = pd.read_csv('b.csv',encoding='utf-8',header=None,sep='\t')
df.columns=list(data_header[0])
排序(降序)
df_6=df_6.sort_values('xgb_score',ascending=False)
ipython中显示dataframe中全部的列与行设置
pd.set_option('max_columns', 1000)
pd.set_option('max_rows', 1000)
去重
df.drop_duplicates([
"Seqno"
],keep
=
"first"
).head()
df.drop_duplicates(subset=None, keep='first', inplace=False)
1 data.drop_duplicates()#data中一行元素全部相同时才去除
2 data.drop_duplicates(['a','b'])#data根据’a','b'组合列删除重复项,默认保留第一个出现的值组合。传入参数keep='last'则保留最后一个
类型转换
df.age=df['age'].astype(np.int) #注意一定要赋值过去,否则不起效
添加一行
tmp.loc[11]=('其它',300)
merge
1)len(set(df_a.eng_name)&set(df_b.eng_name)) #merge前根据某一列做key计算一下有多少个交集
2)res = pd.merge(df_a, df_b,on=['eng_name'],how='left') #on表示merge的key,how表示连接方式,默认是inner,left表示以左侧df为准,右侧没有的值为na。
3)左右键值不一样:pd.merge(df_a, df_b,left_on='k1',right_on='k2',how='left')
更改某一列的名
df3.rename(columns={'user_id':'用户ID'}, inplace = True)
df.rename(columns=lambda x:x.replace('yhhx_result.',''), inplace=True) #统一去掉列名的某个前缀
groupby 分组后进行筛选,并形成新的df
df_group_small = pd.DataFrame(columns=df.columns)
df_group_large = pd.DataFrame(columns=df.columns)
for k in set(group.keys):
if len(group.get_group(k))<3:
df_group_small=pd.concat([df_group_small,group.get_group(k)])
else:
df_group_large=pd.concat([df_group_large,group.get_group(k)])
对于时间的字段拆分处理
train = pd.read_csv('train.csv', header=0,parse_dates=['pickup_datetime'])#读取文件的时候parse_dates必须要加上 train['pickup_month'] = train['pickup_datetime'].dt.month train['pickup_day'] = train['pickup_datetime'].dt.day train['pickup_hour'] = train['pickup_datetime'].dt.hour train['pickup_minute'] = train['pickup_datetime'].dt.minute #看看是一星期中的星期几 train['dayofweek'] = train['pickup_datetime'].dt.dayofweek+1 #一年中的第几个星期 train['pickup_weekofyear'] = train['pickup_datetime'].dt.weekofyear train['pickup_dt'] = (train['pickup_datetime'] - train['pickup_datetime'].min()).dt.total_seconds() #一星期中的第多少个小时 train['pickup_week_hour'] = train['dayofweek'] * 24 + train['pickup_hour']
更改DataFrame中列的顺序
mid = df['Mid'] df.drop(labels=['Mid'], axis=1,inplace = True)
#重新插入到最前面,以达到更改列顺序的目的 df.insert(0, 'Mid', mid)
DataFrame一行行遍历
for row in t.itertuples(index=True, name='Pandas'):
id=getattr(row, 'USRID')
diff=getattr(row, 'diff')
或者
for _, row in df_header.iterrows():
eng_name,chn_name=row#比如有两列就可以这样直接对应赋值了,上面的_作为占位符,可以去掉index号
二维list转换成DataFrame
df=pd.DataFrame(recall_list,columns=['TOP30%','TOP35%','TOP40%','TOP45%','TOP50%'])
APPLY
Apply将一个函数应用于指定轴上的每一个元素。 使用Apply,可以将DataFrame列(是一个Series)的值进行格式设置和操作,不用循环,非常有用!
dataframe中将数值型与字符串混杂类型强制转换成数值类型
df['username']=pd.to_numeric(df['username'],errors='coerce') #将不能转换数据类型的值强制转换成NaN
利用箱式图找出异常值分界线
data=pd.DataFrame({'a':[1,2,3,4,3,4,45,67]}) p=data[['a']].boxplot(return_type='dict') y=p['fliers'][0].get_ydata() y.sort()
y[0] 输出: y=[45,67]
dataframe中判断NAN的方法
for v in df['a']:
if pd.isnull(v)
时间差计算
1)出生日期转换为年龄方法
df['出生日期']=pd.to_datetime(df['出生日期'],format='%Y%m%d',errors='coerce) #当前是什么格式format就写什么格式
df['age']=now_year-df['出生日期'].dt.year
![](https://img2018.cnblogs.com/blog/1102791/201901/1102791-20190103155553234-2127680656.png)
import datetime #日期加50天,自动转化为所需要格式的日期 (pd.to_datetime('2019-05-30',format='%Y-%m-%d')+datetime.timedelta(days=50)).strftime('%Y-%m-%d') #如果是减去50天,则days=-50即可
4) dataFrame中两列快速计算天数差
stat | buy_date | |
---|---|---|
0 | 2020-09-01 | 2020-9-3 |
1 | 2020-09-01 | 2020-9-3 |
2 | 2020-09-01 | 2020-9-3 |
3 | 2020-09-01 | 2020-9-3 |
4 | 2020-09-01 | 2020-9-3 |
#默认数据格式yy-mm-dd形式,不同形式的可以添加形式标准,按列统一转换速度非常快,即便是1000万条数据,一秒中完毕;如果用列表推导式,好几个小时都计算不完毕。
df['days']=(pd.to_datetime(df['buy_date'])-pd.to_datetime(df['stat'])).dt.days
def get_missRow_byThreshold(df,threshold): indexs=[] for index,row in df.iterrows(): rowMissRate=sum(pd.isnull(x) for x in row.values)/len(row.values) #一行一行拆分看缺失值情况 if rowMissRate>=threshold: indexs.append(index) return indexs #返回索引号后,进行删除,删除缺失率高于0.8的行 indexs=get_missRow_byThreshold(df,0.8) df.drop(indexs,inplace=True)
抽取出身份证信息中的省份
def fun(x): if not x is np.nan: x = x.strip().split('省')[0].split('自治')[0].split('维吾尔')[0].split('壮族')[0].split('回族')[0].split('市')[0] return x df['id_prov'] = df['身份证归属地'].map(fun)
验证手机号所在省份与身份证所在省份是否一致
def is_identity(x,y): if pd.isnull(x) or pd.isnull(y): return np.nan else: if x.strip()==y.strip(): return 1 else: return 0 df['province_identity']=list(map(lambda x,y:is_identity(x,y),df['id_prov'],df['手机号归属省份'])) df['city_identity']=list(map(lambda x,y:is_identity(x,y),df['id_city'],df['手机号归属城市']))