pandas处理大数据题目的操作

1、用法：DataFrame.drop(labels=None, axis=0, index=None, columns=None, inplace=False)#

2、参数说明：#

labels：要删除的行/列的名字，用列表给出#

axis：默认为0，即删除行，删除列时指定为1#

index：直接指定要删除的行#

columns：直接指定要删除的列#

inplace：默认为False，即删除操作不改变元数据，而是返回一个执行删除操作后的新DataFrame，若为True，则会在元数据据上进行删除操作，删除后无法返回#

3、删除行列的两种方式：#

1）labels=None, axis=0/1的组合#

2）index或columns直接指定要删除的行或列#

 #

 #

1.滤除缺失数据dropna()#

import pandas as pd
import numpy as np
df=pd.DataFrame({"record":[np.nan,"亚健康|潘光|45岁","疾病|张思",np.nan],"date":[np.nan,20210102,20210103,20210104]},index=["one","two","three","four"])

#

1)滤除含有NaN值的所有行
df.dropna()#默认axis=0

#

2)滤除含有NaN值的所有列
df.dropna(axis=1)

#

3)滤除元素都是NaN值的行
df.dropna(axis=0,how="all")#

 #

5)滤除指定列中含有缺失的行
df.dropna(subset=["record"],axis=0)#

以上如果需要在原数据上直接做更改，需设置参数inplace=True#

 #

2.删除重复值 drop_duplicates()
df=pd.DataFrame({'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']})#

语法：drop_duplicates(subset,keep,inplace)，其中参数 keep:{‘first’，‘last’，False}，默认’first’#

first：保留第一次出现的重复项，删除第二次及之后出现的重复项。#

last：保留最后一次出现的重复项，删除之前出现的重复项。#

"false"：删除所有重复项。#

1)keep=“first”#

df.drop_duplicates(keep="first")#

2)keep=“last”#

df.drop_duplicates(keep="last")#

3)keep=False#

df.drop_duplicates(keep=False)

#

4)删除指定列中重复项对应的行#

df.drop_duplicates(subset=["state"],keep="first")#

以上如果需要在原数据上直接做更改，需设置参数inplace=True#

 #

3.根据指定条件删除行列drop()#

df=pd.DataFrame(np.arange(16).reshape(4,4),columns=["one","two","three","four"])

#

1).删除指定列#

df.drop(["one"],axis=1)

#

1. >>>df.drop(columns=['B', 'C'])

另外，也可通过del df["one"]来实现删除指定列，但该方法不推荐，因为这默认直接在源数据上做更改。#

2).删除指定行#

df.drop([0],axis=0)#

1. >>> df.drop(index=[0])

以上如果需要在原数据上直接做更改，需设置参数inplace=True#

————————————————
版权声明：本文为CSDN博主「永远在减肥永远110的的小潘」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/p1306252/article/details/114890550#