sort 命令优化
选择不到两百万(1934897)行,186Mbyte 的文本文档做测试。
# time (sort ja0106.list.txt |uniq > my1.txt)
real 1m17.259s
user 1m17.461s
sys 0m0.469s
# time (sort -u ja0106.list.txt > my2.txt)
real 0m57.306s
user 0m57.076s
sys 0m0.218s
-------------------------------------------------------------
186M ja0106.list.txt
9.1M my1.txt
9.1M my2.txt
使用 sort -u 与 sort |uniq 的结果是一样的,运行速度快了大约 百分之26(1- 57.306/77.259)