shell脚本,awk 根据文件某列去重并且统计该列频次。
a文件为 1 a 2 a 3 a 4 s 5 s 6 d 1.怎么把a文件变为 1 a 3 4 s 2 6 d 1 2.怎么把a文件变为 1 a 3 2 a 3 3 a 3 4 s 2 5 s 2 6 d 1
解题方法如下:
解题思路
[root@localhost study]# awk 'NR==FNR{a[$2]++}NR!=FNR&&++b[$2]==1{print $1,$2,a[$2]}' a a
1 a 3
4 s 2
6 d 1
NR=FNR处理第一个文件a-----> {a[$2]++}
a[$2]++相当于a[$2]=a[$2]+1
a[a]=a[a]+1=0+1=1
a[a]=a[a]+1=1+1=2
a[a]=a[a]+1=2+1=3
a[s]=a[s]+1=0+1=1
a[s]=a[s]+1=1+1=2
a[d]=a[d]+1=0+1=1
这里只取值,不输出
NR!=FNR&&++b[$2]==1{print $1,$2,a[$2]}
当NR!=FNR处理第二个文件 a
++b[$2]==1 ++b表示先自增,后赋值。就是第二列是重复的值,执行一次
第一行b[a]=0 ++b[a]---->结果b[a]=1,然后在判断是否等于1,等于1条件成立,执行后面的结果
输出 print $1,$2,a[$2]------>$1=1,$2=a,a[$2]=a[a]=3 (1 a 3)
第二行b[a]=1 ++b[a]----->结果b[a]=2,然后在判断是否等于1,此时不等于1,后面不执行
第三行b[a]=2 ++b[a]---->结果b[a]=3,然后在判断是否等于1,此时不等于1,后面不执行
第四行b[s]=0 ++b[s]----->结果b[s]=1,然后在判断是否等于1,等于1条件成立,执行后面的结果
输出 print $1,$2,a[$2]------>$1=4,$2=s,a[$2]=a[s]=2 (4 s 2)
第五行b[s]=1 ++b[s]----->结果b[s]=2,然后在判断是否等于1,此时不等于1,后面不执行
第六行b[d]=0 ++b[d]----->结果b[d]=1,然后在判断是否等于1,等于1条件成立,执行后面的结果
输出 print $1,$2,a[$2]------>$1=6,$2=d,a[$2]=a[d]=1 (6 d 1)
所以得到结果如下:
1 a 3
4 s 2
6 d 1
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· .NET10 - 预览版1新功能体验(一)