uniq的坑坑

很久没有做过文本统计之类的操作了，今天有点任务弄一下，幸亏机智的我列出了全部看了一遍，发现uniq的时候还是有重复的，然后总结了一下

 

假如我有1.txt这个文本：

10.0.0.1
10.0.0.1
10.0.0.5
10.0.0.1

 

执行操作，cat 1.txt |uniq，得到的结果是：

10.0.0.1
10.0.0.5
10.0.0.1

uniq不是去重吗？为什么还是有重复的呢，当时一时半会儿也没想起来，后来把所有的数据列出来，对比发现规律了，只有对连续的重复的时候，才去重

也就是uniq只有对连续的重复的行去重，想要对所有的去重的话，就只有先用sort排序了

 

cat test |sort|uniq
10.0.0.1
10.0.0.5

 

还有就是不能对自己太过于自信了，认为这几个操作很熟练了，就执行完不检查，直接给结果；做任何事情可以慢一点，去检查一下结果，要做到perfect