有趣的Linux命令 - sort & uniq

场景：在Linux服务器上有一个文本文件，上百万行数据，我想知道这个文件里有没有重复的行，怎么搞呢？

一想到Linux上拥有像 grep、wc、awk等等众多的小工具，就感觉通过一个命令就可以解决上述的问题，果然百度一下，真的有，哈哈。

$ sort filename | uniq -d

上述命令可以直接在终端显示重复行的内容，当然没有任何输出则代表没有重复行（unix的哲学）

$ sort filename | uniq > res.txt

将去重后到结果重定向到文件，然后：

$ wc -l res.txt

查看去重后到文件行数，与之前的相比，就可以判断是否有重复行了。