pandas处理重复、NaN数据及读取excel空值

1.删除重复的数据

 

df.drop_duplicates();默认删除完全一样的行数据。

 

 

 

2.删除NaN数据

df.dropna() ；默认删除掉行数据，只要一行中有NaN；

 

 

 

3.pandas读取excel空白单元格默认设置修改

 

pandas读取excel表格空值为NaN；用df.fillna没有效果。原因是pandas默认读取空字符串时读出的是nan，在使用pandas.read_excel(file)这个方法时可以在后面加上keep_default_na=False，这样读取到空字符串时读出的就是”而不是nan了。

df = pd.read_excel(data_path, keep_default_na=False)