利用pandas去重
如下图:
最近遇到一个这样的问题,单号相同的记录里面只保留第一条数据的重量,数据量有上万条,显然是不能手工删除得了,excel里面有没得满足类似需求得函数也不是很清楚,怎么办呢?当然是pandas闪亮登场啦~
这个思路很简单,就是和上一行单号相同的话,就删除当前行的重量
关键就是怎么读取/修改/保存数据,以及读出来的数据是怎么样的,怎么遍历这些问题,参考了一下万能的哔哩哔哩, 看了2/3/4/5 这个问题就迎刃而解啦~~~
直接上代码:
# -*- coding: utf-8 -*-
"""
@author: Jonathan
"""
import pandas as pd # 导入python的数据处理扩展包pandas,并重命名为pd,该包用于读写excel文件
# pd.Series,pd.DataFrame
data = pd.read_excel('test.xlsx')
data = pd.DataFrame(data)
for i in range(len(data)):
count = i + 1
while count < len(data):
# 和上一行单号相同的话,就删除当前行的重量
# 当然考虑效率提升的话,结束while循环的时候,可以让i从count出开始执行,这里就不考虑啦
if data.loc[count]['单号'] == data.loc[i]['单号']:
data.loc[count, '重量'] = ''
count += 1
else:
break
data.to_excel('new.xlsx')
下面是运行结果:
分类:
python
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· winform 绘制太阳,地球,月球 运作规律
· AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
· 超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 上周热点回顾(3.3-3.9)