linux 通过md5查找重复文件
代码如下:
1 | md5sum *| sort | uniq -w32 -D| awk -F ' ' '{print $2}' |
1 2 3 4 5 6 7 8 9 | uniq 部分参数 -c #在每行前显示该行重复次数。 -d #只输出重复的行。 -D #只输出重复的行,有几行输出几行。 -f #-f 忽略的段数,-f 1 忽略第一段。 -i #不区分大小写。 -w #忽略第n个字符以后的内容 。 -s #-s 5忽略后面5个字符 |
md5sum * 先查看所有文件的md5值,重复的文件的md5值相同。
uniq 处理时是处理相邻两行,所以需要先排序。
因为处理完后会显示md5值影响观看,可以通过 awk 命令显示文件名
1 | awk -F ' ' '{print $2}' #-F指定分隔符,{print $2}指定第几列 |
标签:
shell
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战