【pandas】数据去重

 

现在有一列数据,列名demo

该列中存在重复数据,现在要对数据去重

利用pandas的drop_duplicates方法,subset指列名,keep指只保留遇到的第1个结果

import pandas as pd
data={'demo':[1,1,2,2,1,2,2,3,4,5,6,98,4,2,4,5,2,5,6,7]}
df=pd.DataFrame(data)

a=df.drop_duplicates(subset=['demo'],keep='first')
print(a)

效果:

demo列中重复的数据就已经没有了

 

 

 

参考文档:

pandas 筛选去除重复的数据

posted @ 2020-05-18 11:33  wangju003  阅读(3457)  评论(0编辑  收藏  举报