Linux 数据分析常用 shell命令

.文件合并

  目录下有成千上万的小文件,需合并成大文件,直接cat 返回参数列表过长

  ls |xargs -t -I{} cat {} >> merge.txt

2.从文本中截取行特定内容

以“,”分隔,第二个field的内容

3.统计文件中单词出现个数

4.文件求交

 

5.文件求并

6.文件求差集(A-B)

7.文件求对称差(A-B)u(B-A)

 

posted @ 2017-11-01 15:29  iByte  阅读(849)  评论(0编辑  收藏  举报