按行读取文本,去重行

1
2
3
4
5
6
7
8
9
10
11
readDir = '去重文本.txt'
writeDir = '新文本.txt'  # 结果文件的路径
lines_seen = set() #空集合,集合的特性,去重
outfile=open(writeDir,"w+",encoding='utf-8-sig')
f = open(readDir,"r",encoding='utf-8-sig')
for line in f:
    if line not in lines_seen:
        outfile.write(line)
        lines_seen.add(line)
outfile.close()
f.close()

  

posted @   JIMfan  阅读(288)  评论(0编辑  收藏  举报
编辑推荐:
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· .NET 9 new features-C#13新的锁类型和语义
· Linux系统下SQL Server数据库镜像配置全流程详解
· 现代计算机视觉入门之:什么是视频
阅读排行:
· Sdcb Chats 技术博客:数据库 ID 选型的曲折之路 - 从 Guid 到自增 ID,再到
· .NET Core GC压缩(compact_phase)底层原理浅谈
· Winform-耗时操作导致界面渲染滞后
· Phi小模型开发教程:C#使用本地模型Phi视觉模型分析图像,实现图片分类、搜索等功能
· 深度学习基础理论————CV中常用Backbone(Resnet/Unet/Vit系列/多模态系列等
点击右上角即可分享
微信分享提示