除去文件里的反复数据

1.先对文件内容排序：cat 1.txt |sort > 2.txt 保存到2.txt中

2.使用vim打开2.txt 运行替换命令：

替换空格：%s/ //g

替换tab：%s/^I//g   （注意：^I 是直接按键盘是的tab键）

替换$:  %s/^M//g （注意：^M 是按ctrl+v 再按Enter键）

3.cat 2.txt | uniq > 3.txt

本文为Eliot原创。转载请注明出处：http://blog.csdn.net/xyw_blog/article/details/24589251