uniqu 用法

uniqu 是对文件按照列去重,但是和其他常使用的shell不同 uniqu -f1 不是使用f1 字段进行去重,而是忽略f1

例如我想对如下文件start.txt安装第二列去重

图书音像:小说:悬疑 01.03.38
图书音像:小说:言情 01.03.44.01
图书音像:小说:职场 01.03.48
图书音像:小说:财经 01.03.49
图书音像:文艺:文学 01.05
图书音像:文艺:传记 01.38
图书音像:文艺:艺术 01.07
图书音像:文艺:摄影 9941
图书音像:青春:青春文学 01.01
图书音像:青春:动漫 01.09

应该使用如下shell  

uniqu -f1 start.txt > 1.txt

这与使用 使用 cut -f2 |uniqu -c >2.txt  得到的结果相同

验证方法

sort -k3 1.txt >3.txt

sort -k2 2.txt >4.txt

join -1 3 -2 2 -o 1.1 1.2 1.3 2.2 2.1 -a 1 3.txt  4.txt

 

 

posted @ 2013-03-04 10:37  xinyonde  阅读(489)  评论(0编辑  收藏  举报