Linux删除重复内容命令uniq笔记

针对文本文件，有时候我们需要删除其中重复的行、或者统计重复行的总次数，这时候可以采用Linux系统下的uniq命令实现相应的功能。

语法格式：uniq [-ic]

常用参数说明：

-i 忽略大小写

-c 计算重复的行数

用法说明：

首先创建一个uniqdemo.txt

文件内容如下：

小明

小王

小张

小张

小明

小李

执行如下命令：cat uniq.txt | uniq

输出结果如下：

小明

小王

小张

小明

小李

执行如下命令：cat uniq.txt | sort | uniq

输出结果如下：

小明

小王

小张

小李

总结：一般情况下uniq命令需要配合sort命令一起使用，因为uniq命令去重只能是作用于连续重复的行，只保留一行，如果重复的行数不连续，则不会去重，所以可以先使用sort命令按照顺序排列，这样可以保证重复的数据行是连续的，然后再去执行uniq命令就可以起到去重复的效果。