Python自动化之Excel去除相同数据
之前分享了一篇关于
Python的Excel合并的文章
。链接在下方,今天为大家分享一个Python去除Excel中相同数据
也是以一个工资表为例。为方便观赏,数据量少,足够使用。
致力打造口中:别人的公众号
文中代码的演示效果以及源码获取请点这里
素材准备
一个带有重复数据的Excel工资表
- 安装下载模块(
numpy
、pandas
、xlrd
) - 选择正确的路径(
工资表路径
) - 写代码
可以看到,数据中有王一是有两列
如何筛选数据
此次通过手机号来筛选数据
名字可能相同,工资等也有可能相同
但是手机号是唯一
代码分享
#去除重复数据
import pandas as pd # pip3 install pandas
import numpy as np # pip3 install numpy
import xlrd # pip install xlrd
labelName_phone = '手机号'
file_name = "2月份工资表"
frame = pd.read_excel('assets/'+file_name+'.xlsx')
data = pd.DataFrame(frame)
data.drop_duplicates([labelName_phone], keep='last', inplace=True)
data.to_excel('assets/'+file_name+'去重数据.xlsx')
print('完成')
效果展示
代码成功运行以后,可以看到文件夹内多了一个Excel表。
打开即可发现,里面相同数据仅剩下一个。